El modelo abierto Nemotron 3.5 Transcribe de NVIDIA integra la transcripción de voz a texto, la identificación de hablantes y la traducción en un único modelo eficiente, simplificando el procesamiento de audio multilingüe para los desarrolladores.
Resumen generado con IA. Consulta el original para comprobar el contexto y la precisión.
Este es el extracto disponible del feed. Puede estar abreviado o en el idioma original.
NVIDIA has released Nemotron 3.5 Transcribe, an open-weights speech LLM built for transcription. One model handles 40 languages and recordings up to 1 hour. A text instruction picks the output style for each request. Options include verbatim, written form, speaker-attributed, contextual and translated output. For developers, it can replace separate ASR, diarization and alignment tools. TL;DR Size: 34B total and about 4.3B active parameters; 65,536-token context; audio up to 1 hour. Runs on: 1x H100 80 GB in BF16. FP8 (about 35 GB) and NVFP4 (about 21 GB) checkpoints exist; NVFP4 runs on an RTX 5090. GGUF files target NeMo-Speech.cpp. Performance: Best open-weights model on the English and multilingual Open ASR Leaderboards; top commercial APIs still lead. Best: 4.71% mean WER on the 9 public English Open ASR sets (next open model: 4.94%). Worst: 34.95% cpCER on AliMeeting Mandarin far-field meetings. Bottom line: Best thing: 1 open model covers transcripts, speaker labels, timestamps and translation. Worst thing: offline only, with weak Mandarin meeting accuracy. What is Nemotron 3.5 Transcribe? Nemotron 3.5 Transcribe is a speech-augmented language model (SALM) from NVIDIA that turns audio and instructions into text. An audio encoder feeds embeddings into an LLM decoder, which makes transcription promptable. NVIDIA’s technical research report argues there is no single correct transcript. Numbers, fillers and domain terms depend on who reads the output. NVIDIA positions the model as a transcription specialist, not a general-purpose assistant. How does the architecture work? It has three parts: Parallel Expert Encoder: a trainable 0.6B Transformer ASR encoder runs beside a frozen Nemotron 3 Diarization model. The diarizer tracks up to 8 speakers. Its speaker activity is added to the ASR features every 80 ms. The LLM therefore sees who spoke when, without architecture changes. LLM backbone: Nemotron 3.5 Lightning 30B-A3B, a hybrid Mamba-Transformer MoE. I
Una ayuda automática para ordenar, basada en fuentes, palabras clave y entidades, en una escala de 1–12. Alta: 9–12; media: 6–8; baja: 1–5. No mide urgencia, verifica noticias ni representa respaldo editorial.
Hermit permite a los desarrolladores adaptar agentes de IA a nuevas tareas sin necesidad de ajustar modelos ni bifurcar el código, optimizando así los flujos de trabajo de desarrollo.
El nuevo modelo de voz de Block, entrenado exclusivamente con audio y sin texto, ofrece una alternativa más rápida y natural a los agentes de voz basados en texto actuales.
La nueva API de TTS de AssemblyAI, con un costo de 15 USD por millón de caracteres, ofrece una síntesis de voz asequible y de baja latencia para agentes telefónicos en vivo, simplificando el desarrollo al unificar la conversión de voz a texto y de texto a voz bajo un solo proveedor.