• Halucinace vznikají kvůli tomu, jak se modely trénují a hodnotí.

• Modely jsou jako studenti, kteří u testu raději tipují.

• Řešením je měnit hodnocení v testech, ne jen přidávat nové.

Jazykové modely občas sebejistě tvrdí věci, které nejsou pravda: vymyslí datum, citaci nebo název knihy. Odborně se tomu říká halucinace. Studie výzkumníků z OpenAI a Georgia Tech z roku 2025 vysvětluje, že na tom není nic záhadného. Modely si vymýšlejí, protože je trénink a hlavně testy odměňují za tipování víc než za přiznání nejistoty.

Tři různá data narození

Studii Why Language Models Hallucinate zveřejnili 4. září 2025 Adam Tauman Kalai, Ofir Nachum a Edwin Zhang z OpenAI a Santosh Vempala z Georgia Tech. Začíná jednoduchým pokusem. Autoři se jednoho z tehdy nejlepších otevřených modelů třikrát zeptali na Kalaiho datum narození s tím, ať odpoví, jen pokud ho zná. Model pokaždé uvedl jiné datum a ani jednou správně.

Podobně dopadla otázka na název Kalaiho disertace. ChatGPT, DeepSeek i Llama odpověděly každý jiným názvem a jiným rokem a žádná odpověď nebyla správná. Halucinace se podle autorů objevují i v nejnovějších modelech.

Proč vznikají už při učení

Model se nejdřív učí z obrovského množství textů, jak jazyk vypadá. Autoři ukazují, že i kdyby v těch textech nebyla jediná chyba, model bude chybovat. U faktů, která nemají žádný vzorec, jako jsou data narození, si nemá podle čeho pomoci.

Studie uvádí názorný příklad. Pokud se 20 % dat narození objeví v trénovacích textech jen jednou, dá se čekat, že si model u nejméně 20 % takových otázek vymyslí. Čím vzácnější fakt, tím větší riziko. Proto si AI častěji plete údaje o méně známých lidech, firmách nebo místních událostech než o slavných osobnostech.

Jako student u těžké zkoušky

Hlavní důvod, proč halucinace nemizí ani po dalším ladění modelů, vidí autoři v tom, jak se modely hodnotí. Většina testů, podle kterých se sestavují žebříčky, funguje jako písemka: za správnou odpověď bod, za špatnou i za „nevím“ nula. Student, který si nejistý tipne, tak dopadne lépe než ten, který přizná, že neví.

Studie to ukazuje na dvou modelech. Model A nejistotu poctivě přizná a nikdy si nevymýšlí. Model B je stejný, jen vždy tipuje. V běžných testech vyjde lépe model B. Modely jsou tak podle autorů neustále v režimu skládání zkoušek. Tipy navíc bývají sebejisté a konkrétní, například „30. září“ místo „někdy na podzim“.

Co navrhují

Řešením podle autorů není přidat pár dalších testů zaměřených na halucinace. Navrhují změnit bodování těch hlavních testů, které dominují žebříčkům, aby za přiznání nejistoty model nebyl trestán. Problém označují za společensko-technický: změnit se musí i to, jak obor modely mezi sebou porovnává.

Co to znamená pro vás

Když AI odpovídá na fakta, čísla, data nebo citace, ověřte si je, hlavně u méně známých témat. Pomáhá dát jí podklady, ze kterých má vycházet, a výslovně napsat, že pokud odpověď nezná, má to říct. Anthropic ve svém průvodci doporučuje také chtít ke každému tvrzení citaci ze zdroje. Podle firmy tyto postupy vymýšlení výrazně omezí, ale úplně ho neodstraní.

Zdroje: Kalai, Nachum, Vempala, Zhang: Why Language Models Hallucinate (2025), OpenAI: Why language models hallucinate, Anthropic: Reduce hallucinations. Foto: Unsplash.

Vzorové prompty ke zkopírování