• Jazykový model odhaduje pravděpodobnost dalšího tokenu.

• Token je kousek textu, v angličtině v průměru asi čtyři znaky.

• Velké modely vidí celý kontext najednou, ne slovo po slovu.

ChatGPT, Gemini i Claude stojí na takzvaných velkých jazykových modelech, anglicky large language models (LLM). Nehledají odpovědi v databázi ověřených faktů. Odhadují, jaký kousek textu by měl následovat po tom, co jste napsali. Vysvětlujeme bez vzorců, jak to funguje a proč z toho plynou jejich silné i slabé stránky.

Model, který odhaduje pokračování

Google ve svém kurzu strojového učení vysvětluje, že jazykový model odhaduje pravděpodobnost, s jakou se token nebo posloupnost tokenů objeví v delším textu. Když napíšete otázku, model postupně volí, jaký kousek textu by měl následovat, a dokáže tak vytvořit i celé odstavce. Vaši otázku si podle Googlu můžete představit jako začátek textu a odpověď jako jeho nejpravděpodobnější pokračování.

Kurz uvádí jednoduchý příklad. Po větě „Můj pes Max umí spoustu tradičních psích kousků.“ model spočítá pravděpodobnosti různých pokračování, třeba „Umí například sednout, zůstat a…“. Stejný princip mu umožňuje psát, překládat i shrnovat.

Co je token

Token je nejmenší jednotka, se kterou model pracuje. Bývá to celé slovo, jeho část nebo i jediný znak. V angličtině má token podle Googlu v průměru asi čtyři znaky. Podle počtu tokenů se počítá délka textu, kterou model najednou pojme, i cena za jeho používání.

Jak se model učí

Model se učí na obrovském množství textů tak, že v nich doplňuje chybějící kousky. Google uvádí příklad věty „Pomeranče se tradičně ___ ručně. Jakmile jsou utrženy ze stromu, ___ už nedozrávají.“ Po spoustě takových cvičení model zjistí, že na první místo nejlépe pasuje „sklízejí“ a na druhé „pomeranče“ nebo „ty“.

Takto naučený základní model zná gramatiku, slova i obraty a umí psát o tématech, na kterých se učil. Aby z něj byl užitečný asistent, který plní pokyny, prochází dalším tréninkem na příkladech konkrétních úkolů. Google tento krok nazývá dolaďování.

Proč „velké“

Starší modely, třeba rekurentní neuronové sítě, četly text slovo po slovu a rychle zapomínaly, co bylo na začátku. Velké jazykové modely stojí na architektuře transformer, kterou v roce 2017 popsali vědci z Googlu. Jejím jádrem je mechanismus pozornosti: u každého slova model zvažuje, jak moc na něm záleží u ostatních slov v textu.

Google to ukazuje na větě „Zvíře nepřešlo ulici, protože bylo příliš unavené.“ Pozornost pomůže modelu poznat, že „bylo“ se týká zvířete. Když na konec dáte „protože byla příliš široká“, vztáhne se to k ulici. Velké transformery mají podle Googlu stovky miliard až biliony parametrů, tedy čísel, která se při učení nastavují.

Silné a slabé stránky

Google mezi výhody řadí srozumitelný a plynulý text. Mezi problémy uvádí halucinace, tedy sebejisté chyby, obrovskou spotřebu výpočetního výkonu a elektřiny a předsudky převzaté z trénovacích textů. Plyne to přímo z principu: model vybírá pravděpodobné pokračování, ne ověřenou pravdu.

Co to znamená pro vás

Model netvoří odpovědi z databáze faktů, ale z toho, co je v textu pravděpodobné. Proto zní přesvědčivě, i když se mýlí. Čím víc kontextu a podkladů mu dáte, tím lépe se trefí. Fakta, čísla a citace si vždy ověřte.

Zdroje: Google: Machine Learning Crash Course – Language models, Google: LLMs a transformery, Google: dolaďování a prompty, Vaswani a kol.: Attention Is All You Need (2017). Foto: Unsplash.

Vzorové prompty ke zkopírování