Allen Institute for AI (Ai2) 20. října 2026 na blogu Hugging Face představil FairStress, nový benchmark spravedlnosti jazykových modelů. Nezkoumá jen to, zda model vybere stejného kandidáta po výměně jmen či skupin, ale také to, jak stabilní je jeho rozhodnutí, když na něj někdo tlačí přesvědčivými argumenty. Podle autorů by u dobře podložené volby mělo být stejně těžké ji zvrátit bez ohledu na to, která skupina by z obratu těžila.

Jak test funguje

FairStress obsahuje 300 realistických rozhodnutí mezi dvěma kandidáty ve 29 oblastech, například v náboru, zdravotnictví, půjčkách, vzdělávání, bydlení nebo trestní justici. V některých scénářích je jeden kandidát jasně silnější, jiné jsou záměrně nejednoznačné.

Identita kandidátů se zadává na čtyřech úrovních: bez informace, jménem, které odpovídá určité skupině, naznačením a výslovným označením. K tomu přibývají přesvědčovací předpony založené na autoritě, shodě většiny, údajných důkazech, právních obavách nebo historickém znevýhodnění. Každá má obdobu, která favorizuje druhého kandidáta. Kombinací vzniká přes 13 milionů testovacích případů. Pro rychlejší a levnější vyhodnocení slouží podmnožina FairStress-Core s 50 000 položkami.

Co testy ukázaly

Bez jakýchkoli údajů o identitě se modely chovaly téměř stejně: jasné případy volily v podobné míře a u nejednoznačných dělily volby zhruba napůl. Jakmile se identita objevila, rozhodování se zkreslilo. Autoři mluví o „anti-stereotypní překorekci“, kdy model snáze opustí správnou odpověď, pokud změna vyhovuje kandidátovi označenému jako menšinový.

Průměrný rozdíl v ochotě opustit správnou volbu činil 6,9 procentního bodu při naznačené identitě a 9,3 bodu při výslovném označení. Špičkové modely vybraly menšinově označeného kandidáta zhruba v 60 až 65 % případů, kdy žádný z nich nebyl objektivně lepší. U párovaných předpon byly obraty ve prospěch menšinového kandidáta o 8,8 až 42,4 bodu častější než opačné. Testovány byly modely rodin Olmo, Llama, Qwen, Gemma, Claude a GPT, mimo jiné Claude Opus 5 a GPT-5.5.

Změnily se i vysvětlivky. Volbu menšinově označených kandidátů modely zdůvodňovaly sebejistěji a pozitivněji, slovy jako „odolnost“, „rozmanitost“ nebo „překážky“. U většinových kandidátů převažovaly procedurální pojmy jako „důkazy“ a „kritéria“. Autoři upozorňují, že důraz na identitu může zastínit kvalifikaci, která volbu ospravedlňuje.

Srovnání s BBQ a zkoumání trénovacích dat

Dosavadní benchmark BBQ ukazoval, že modely spíše tíhnou ke stereotypním odpovědím. FairStress naopak odhalil sklon k favorizování menšinových kandidátů. Rozdíl podle Ai2 vzniká i tím, že BBQ hodnotí pravděpodobnosti pevně daných odpovědí, zatímco FairStress nechává modely generovat vlastní rozhodnutí. Když tým zkoušel pět konfigurací na stejných otázkách z BBQ, tři modely (Qwen2.5-7B-Instruct, Gemma-3-27B-it a Llama-3.1-70B-Instruct) přešly při použití chatových šablon a generovaných odpovědí k chování zvýhodňujícímu menšiny. Autoři z toho usuzují, že směr naměřeného zkreslení částečně závisí na nastavení testu.

Ai2 prověřilo také trénovací data modelu Olmo 3. Zjistilo, že z 28 000 tematických shluků jen devět řešilo rozhodování podle zásluh a všech devět byly odmítnutí. Menšinově označené skupiny dostávaly ochrannější či pozitivnější rámování. Jestli tyto vzorce způsobují naměřené rozdíly, ponechávají autoři jako otevřenou otázku.

Zkoušené způsoby nápravy

Tým vyzkoušel devět zásahů, od sebekritiky modelu přes řízení aktivací po naučené úpravy. Většina asymetrii spolehlivě nesnížila a některé stály přesnost: jedna metoda srazila přesnost Qwen2.5-7B-Instruct u jednoznačných rozhodnutí z 98 % na 47 %. Nejlépe vyšlo „kontrafaktuální uvažování“, při kterém model případ znovu posoudí s prohozenými identitami. U tří rodin modelů zmenšilo rozdíl a zachovalo většinu přesnosti, u nejednoznačných případů ale asymetrii neodstranilo.

Autoři zároveň uvádějí, že FairStress vychází z pojetí spravedlnosti založeného na rovnosti a nezachycuje přístupy založené na spravedlivém vyrovnání, které by mohly menšinové kandidáty zvýhodnit kvůli historické diskriminaci.

Co z toho plyne pro firmy

Zdroj se výslovně nevěnuje Česku ani nařízení o umělé inteligenci. Praktický závěr je ale zřejmý z výsledků: kdo používá jazykové modely při výběru lidí, posuzování žádostí či podobných rozhodnutích, měl by kontrolovat nejen to, zda model dává stejné odpovědi po výměně jmen, ale i to, jak se chová pod argumentačním tlakem. Dataset je ke stažení na Hugging Face a kód na GitHubu, benchmark se také integruje do nástroje Olmo-eval. Licenci zdroj neuvádí.

Zdroje

• FairStress, blog Hugging Face (Ai2), 20. října 2026