NVIDIA 28. října 2026 zveřejnila na blogu Hugging Face model Nemotron 3.5 Transcribe a datovou sadu Granary v2. Model přepisuje, překládá a rozlišuje mluvčí v nahrávkách dlouhých až hodinu a je k dispozici jako otevřené váhy. Granary v2 obsahuje 463 062 hodin řeči ve 48 jazycích.

Co model umí

Nemotron 3.5 Transcribe (NVIDIA-Nemotron-3.5-Transcribe-30B-A4B) má zhruba 30 miliard parametrů, z nichž je na jeden token aktivních asi 4 miliardy. Kombinuje řečový enkodér s hybridním jazykovým modelem typu Mamba–Transformer s architekturou směsi expertů. NVIDIA ho popisuje jako „otevřený model, kterému lze zadávat pokyny“, takže výstup se dá usměrnit přirozeným jazykem.

Označování mluvčích řeší model zvláštním způsobem: signály z komponenty Sortformer se dostávají do jazykového modelu spolu s akustickými rysy, takže střídání mluvčích se značí už během generování textu.

Model přepisuje do textu, označuje mluvčí, překládá, vytváří časové značky po slovech a odpovídá na otázky k nahrávce, což je trénované v angličtině. Zvládne až osm mluvčích. Autoři otevřeně uvádějí omezení: model je určen pro nahrané záznamy, nikoli pro živé vysílání.

Podpora jazyků se liší podle úlohy. Přepis je ve 40 jazycích, překlad z angličtiny nebo do ní u 31 z nich a označování mluvčích u 13. Čeština se v textu nejmenuje, takže její podporu z něj potvrdit nelze. Licenci modelu článek neuvádí.

Čísla z měření

V žebříčku Hugging Face Open ASR dosáhl model na angličtině průměrné chybovosti slov (WER) 5,33 % a první místo mezi otevřenými modely. V sedmijazyčné části je to 4,62 % a v dlouhých nahrávkách 10,98 %, v obou případech nejnižší hodnota v porovnání autorů.

Nezávislý index Artificial Analysis dává modelu 2,8 % AA-WER, shodně s nejlepším otevřeným konkurentem, který má ale podle NVIDIA 24 miliard aktivních parametrů oproti zhruba čtyřem. U rozlišování mluvčích v 21 jazycích dosáhl chybovosti 18,26 %, nejnižší z testovaných systémů. Rychlost NVIDIA udává takto: 100 hodin zvuku za méně než tři minuty na jedné kartě RTX PRO 6000 Blackwell Server Edition, s připravovanou kvantizací NVFP4.

Všechna čísla pocházejí od autorů modelu a z nich citovaných žebříčků. Nezávisle jsme je neověřovali.

Doladění pro medicínu

Zajímavý je případ s benchmarkem Eka Care, který tvoří 3 619 nahrávek indických lékařů a studentů medicíny. Bez úprav měl model na celé sadě chybovost 30,8 %, s promptem určujícím angličtinu a latinku 23,8 % a po doladění 11,8 %, tedy asi o 62 % méně chyb.

Na odložených datech klesla chybovost z 22,44 % na 12,17 %. Univerzální přepisovač s 14,92 % i otevřený lékařský model s 13,79 % tak model po doladění předstihl. Cenou bylo mírné zhoršení na obecné angličtině: LibriSpeech test-clean vzrostl z 1,54 % na 1,69 %. Doladění trvalo asi 14 GPU hodin na jednom čipu NVIDIA GB300.

Pro vlastní doladění odkazuje NVIDIA na návody NeMo Speech a na rámec ms-swift od ModelScope. Autoři radí mít pro výběr kontrolního bodu alespoň 100 skutečných označených nahrávek. Text připravil tým kolem Maryam Motamedi z NVIDIA.

Datová sada Granary v2

Granary v2 pokrývá 48 jazyků a 16 zdrojových korpusů, zatímco první verze měla 25 jazyků. Kromě přepisů obsahuje popisky úloh, nápovědy k pojmenovaným entitám, páry instrukcí, údaj o původu a příznak kvality u každého záznamu. Filtrování HiFi například u korpusu VoxPopuli snížilo objem z 354 tisíc na 111 tisíc hodin ve 22 evropských jazycích.

Sada je na Hugging Face a ModelScope, zpracovávat ji lze nástrojem NeMo Curator. Samotné zvukové soubory si je třeba stáhnout zvlášť podle licencí původních korpusů. Model lze už teď provozovat přes vLLM a SGLang-Omni nebo využít hostované koncové body Baseten, DeepInfra a Simplismart. Kvantizované verze a lokální nasazení na RTX Spark, DGX Spark a Jetson AGX Thor NVIDIA teprve slibuje.

Zdroje

• NVIDIA: Nemotron 3.5 Transcribe and Granary v2, Hugging Face blog, 28. 10. 2026