Hugging Face 20. října 2026 oznámil, že do svého ekosystému přidává nativní podporu čipů TPU od Googlu. Slouží k tomu TorchTPU, nativní backend pro PyTorch, který bere TPU jako běžné zařízení. Knihovny Transformers, Diffusers a Kernels tak podle autorů běží na TPU bez přechodu na torch_xla a bez učení JAX. Ve článku to shrnují větou, že TPU je nyní „jen další zařízení“.

Proč to dosud bylo složité

TPU jsou akcelerátory od Googlu dostupné v Google Cloud od jediného čipu po clustery tisíců čipů. Dosavadní cesta vedla přes PyTorch/XLA, které mělo potíže s líným provedením tenzorů a opakovanou rekompilací. Starší nástroj Optimum TPU podporu pro modely Hugging Face zajišťoval, ale TorchTPU ho pro Transformers a Diffusers činí zbytečným.

TorchTPU přidává TPU jako backend PyTorch spolu s kernely v jazyce Pallas laděnými pro TPU, podporou distribuovaného trénování a integrací s torch.compile. Instalace na TPU virtuálním stroji vyžaduje jediný příkaz: pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu. Doplňkový index zajistí, že se nainstaluje procesorová verze torch místo mnohem větší verze pro CUDA.

Z modelů článek zmiňuje Qwen3.5-9B, Stable Diffusion 3.5 Medium, MiniMax-H3 pro video a zvuk, Qwen-Image-2.1 pro obrázky a MoE modely Qwen3-30B-A3B-Instruct-2507 a Gemma 4 26B-A4B. Vedle Googlu a PyTorch se v textu objevují také OpenXLA Tokamax, jazyk Pallas a vydavatelé modelů Qwen, MiniMax, Stability AI a Google.

Jak se používá v Transformers a Diffusers

V Transformers 5 stačí načíst model s parametrem device_map="tpu". Výchozí je eager režim, pro vyšší výkon jsou k dispozici torch.compile a distribuované nastavení. Autoři uvádějí příklad s modelem Qwen/Qwen3.5-9B.

V Diffusers funguje v eager režimu volání pipe.to("tpu"), v kompilovaném režimu pipe.transformer.compile(backend="tpu", fullgraph=True, dynamic=False). První volání se kompiluje, další volání se stejnou velikostí obrázku už graf znovu používají. Velké modely lze rozdělit mezi čipy pomocí TensorParallelConfig. Příkladem je Stable Diffusion 3.5 Medium od Stability AI.

Naměřené hodnoty

Příklady pro Diffusers běžely na Cloud TPU v6e-4 s tenzorovým paralelismem čtyři, v bf16 a s dávkou jedna. Model Qwen-Image-2.1 vytvořil obrázek 1024×1024 ve 40 krocích za 3,5 s v kompilovaném a za 8,0 s v eager režimu. U videa s modelem MiniMax-H3 (1344×768, 5,2 s, 49 kroků) trvalo generování 188 s kompilovaně a 262 s v eager režimu.

Kernels Hub nově nabízí hotové TPU kernely napsané v Pallas. Do modelů typu Mixture-of-Experts lze zapojit kernely z knihovny Tokamax (OpenXLA), například tengomucho/ragged-dot-tpu pro Qwen/Qwen3-30B-A3B-Instruct-2507. Při dávce 64 na TPU v6e-8 je dekódování o 21,5krát rychlejší u Qwen3-30B-A3B a o 12,8krát u Gemma 4 26B-A4B než ve výchozí implementaci. Zrychlení s dávkou roste.

Kvalita a stav projektu

Testovací sada Transformers běží na TPU a 96,5 % testů projde. Tým pracuje na nočním CI pro TPU, jehož výsledky se zobrazí na dashboardu CI Transformers, zatím jako rozpracovaná funkce. Do repozitáře TorchTPU nahlásil 34 problémů, 19 z nich je opraveno. Testy na TPU odhalily i chyby přímo v Transformers, například ve StaticCache a v plánech tenzorového paralelismu pro Qwen3, které už byly opraveny.

Zdrojový kód TorchTPU je na GitHubu v repozitáři google-pytorch/torch_tpu. Autoři Alvaro Moran, Jingya Huang, Simon Pagezy, Jeff Boudier a Régis Pierrard čtenáře žádají, aby případné potíže hlásili jako issues na GitHubu.

Co si z toho odnést

Zdroj se nezmiňuje o dostupnosti ani cenách v Česku či EU. Z technického hlediska je ale změna jasná: kdo trénuje nebo spouští modely v Google Cloud, nemusí kvůli TPU přepisovat kód pro PyTorch. Zůstává ale třeba počítat s tím, že projekt je ještě ve vývoji, o čemž svědčí rozpracované CI i nevyřešených 15 z 34 nahlášených problémů.

Zdroje

• Hugging Face ❤️ TorchTPU: TPUs, Natively, blog Hugging Face, 20. října 2026