Neděle 18. 10.Svátek má Lukáš
novinkyAI
novinkyAI
novinkyAI

Zprávy

Anthropic pustil nezávislé hodnotitele do firmy. Šest lidí z METR má přístup jako zaměstnanci

Firma Anthropic, která vyvíjí modely Claude, dala šesti hodnotitelům z neziskové organizace METR přístup srovnatelný s vlastními zaměstnanci. Výsledky svého zkoumání mohou zveřejnit, aniž by je Anthropic mohl zakázat.

Firma Anthropic, která vyvíjí modely Claude, dala šesti hodnotitelům z neziskové organizace METR přístup srovnatelný s vlastními zaměstnanci. Výsledky svého zkoumání mohou zveřejnit, aniž by je Anthropic mohl zakázat.

Firma Anthropic, která vyvíjí modely Claude, dala šesti hodnotitelům z neziskové organizace METR přístup srovnatelný s vlastními zaměstnanci. Výsledky svého zkoumání mohou zveřejnit, aniž by je Anthropic mohl zakázat.

·

3 min

Ilustrace: člověk a robotická ruka ukazují na sebe

Americká společnost Anthropic 15. října oznámila, že začala poskytovat takzvaný přístup jako pro zaměstnance týmu z organizace METR. Tato nezisková organizace se zabývá hodnocením nejvýkonnějších modelů umělé inteligence. Šest lidí z METR dostalo firemní počítače, kancelářské prostory a přístup k interním nástrojům a systémům zhruba v rozsahu, jaký mají vlastní týmy Anthropicu pro hodnocení rizik.

METR (Model Evaluation and Threat Research) se podle svých stránek popisuje jako výzkumná nezisková organizace, která vědecky měří, zda a kdy by systémy umělé inteligence mohly způsobit společnosti katastrofální škody. Zkoumá například, jak velké úkoly zvládnou modely samostatně. Organizace uvádí, že nepřijímá peníze od firem vyvíjejících AI. Od nich dostává jen bezplatný přístup k modelům pro výzkum. Malou část příjmů jí podle stránek tvoří smlouva o technické pomoci s Evropským úřadem pro umělou inteligenci.

Podle Anthropicu jde o naplnění závazku k silnějšímu nezávislému posuzování, který firma dala minulý měsíc. Oznámení ho dává do souvislosti i s tím, že firma podepsala dohodu Bílého domu o superinteligenci (White House Accord on Super Intelligence).

Jaké podmínky musí hodnotitel splnit

Anthropic v oznámení popisuje čtyři požadavky na nezávislé hodnotitele. Musí mít odborné znalosti o schopnostech nejvýkonnějších modelů. Musí být nezávislí, tedy nesmí mít ve firmě podíl ani na ní být finančně nebo provozně závislí. Potřebují dostatečný přístup k informacím a systémům. A musí mít svobodu výsledky zveřejnit.

Mohou zveřejnit i nepříjemná zjištění

Klíčové je, co hodnotitelé smějí publikovat. METR bude podle oznámení zveřejňovat své analýzy úrovně rizik, incidentů nebo postupů firmy. Anthropic zveřejnění nemůže zakázat. Může jen vyžadovat, aby byly začerněny předem určené kategorie informací, například data zákazníků, důvěrné informace nebo podrobnosti o architektuře modelů.

Firma zavedla tři úrovně spolupráce. První zahrnuje úzce vymezená zkoumání, u kterých musí zveřejnění schválit Anthropic. Druhá dává širší přístup a možnost publikovat bez schválení, jen s nutností začernit citlivé údaje. Třetí, kterou teď dostal METR, přidává přístup srovnatelný se zaměstnanci.

Kdo další se podílí

Vedle METR spolupracuje Anthropic s organizací SecureBio, která posuzuje kapitolu o chemických a biologických zbraních v srpnové zprávě firmy o rizicích. Navazuje tím na pilotní posouzení předchozí zprávy a Anthropic podle oznámení zvažuje, že jí potom dá hlubší přístup. Se společnostmi Accenture a Faculty firma podle oznámení jedná o širším partnerství, které má zahrnovat hodnocení modelů, takzvaný red teaming, tedy cílené pokusy model obejít, a testování ochranných opatření. S platformou Hugging Face jsou rozhovory v rané fázi.

Anthropic přístup přirovnává k dohledu nad bankami, kde regulátoři umisťují své kontrolory přímo do velkých bank. Firma zároveň vysvětluje, proč všechno nezveřejní sama: část informací o bezpečnosti je citlivá a mohla by pomoci útočníkům. Nezávislí hodnotitelé s hlubokým přístupem mají podle ní zmenšit rozdíl mezi tím, co o rizicích ví firma a co veřejnost. Podle oznámení by „každá firma vyvíjející nejpokročilejší modely“ měla hodnotitele do své práce zapojit dobrovolně.

Souvislost s evropskými pravidly

V Evropské unii už nezávislé hodnocení zčásti vyžaduje zákon. Akt o umělé inteligenci ukládá poskytovatelům obecných modelů se systémovým rizikem, mezi které patří i největší modely Claude, aby své modely hodnotili včetně cíleného testování odolnosti proti zneužití. Tyto povinnosti platí od 2. srpna 2025. Krok Anthropicu jde nad rámec zákona tím, že dává vnějším hodnotitelům volnost výsledky zveřejnit.

Pro běžné uživatele Clauda se tím nic nemění. Zprávy organizace METR ale mohou být užitečným zdrojem pro každého, kdo potřebuje rozhodnout, jak bezpečné je nasadit AI ve firmě nebo ve škole.

Zdroje

ChatGPT · Gemini · Claude

Shrnout bezpečnostní zprávu

Shrň mi tuto bezpečnostní zprávu o AI modelu pro vedení firmy na jednu stranu: [vložte text zprávy]. Uveď hlavní rizika, jak je výrobce řeší a co z toho plyne pro nasazení u nás. Piš srozumitelně bez odborného žargonu.

U dlouhých zpráv vkládejte text po kapitolách.

ChatGPT · Gemini · Claude

Připravit otázky pro dodavatele AI

Připravujeme výběr dodavatele AI nástroje pro [účel]. Sestav 10 otázek, které mu položit o bezpečnosti, nezávislém testování modelu a nakládání s našimi daty. Ke každé otázce napiš, jaká odpověď by měla vzbudit pozornost.

Odpovědi dodavatelů si uložte, poslouží i pro dokumentaci podle AI Actu.

ChatGPT · Gemini · Claude

Vysvětlit pojem red teaming

Vysvětli mi jednoduše, co je red teaming u jazykových modelů, na třech příkladech z praxe. Pak navrhni, jak bychom mohli malý red teaming zkusit u našeho firemního chatbota na [téma].

Testujte jen vlastní nebo svěřené systémy.