OpenAI oznámilo sadu opatření, která mají ChatGPT ztížit zneužití při plánování násilí. Firma zároveň představila první závazek k pravidelné zprávě o bezpečnosti komunit a zpřísňuje pravidla pro uživatele, o nichž se domnívá, že jsou mladší 18 let. Podle zveřejněného oznámení z 30. října 2026 se nové ochrany začnou zavádět „v následujících týdnech“.

Co OpenAI zveřejnilo o spolupráci s úřady

Společnost uvádí, že ChatGPT patří k nejpoužívanějším produktům s umělou inteligencí na světě a že si vybudovala systémy pro odhalování možné újmy, posuzování znepokojivé aktivity a předávání věrohodných hrozeb dál. Ve třetím čtvrtletí 2026 podle OpenAI vzniklo přes 200 oznámení orgánům činným v trestním řízení kvůli bezprostředním hrozbám násilí. Firma tvrdí, že tato oznámení pomohla narušit násilné plány.

Při posuzování složitých případů se OpenAI opírá o odborníky na duševní zdraví a lidské chování. Zároveň připouští, že firmy vyvíjející umělou inteligenci mají jinou roli než policie, rodiny, odborníci na duševní zdraví nebo tvůrci politik, a že řešení vyžaduje spolupráci všech těchto stran.

Zpráva o bezpečnosti komunit od roku 2027

OpenAI se zavázalo vydávat zprávu o prevenci násilí a dalších otázkách bezpečnosti komunit, včetně toho, jak účinné jsou jeho ochrany. Dokument má popsat, jak se systémy učí násilí rozpoznávat, vyšetřovat a reagovat na něj. Zahrne také anonymizované příklady toho, jak se škodlivé jednání projevuje, nová opatření, změny pravidel a podpůrná data.

První zpráva vyjde na počátku roku 2027 a pokryje druhé pololetí 2026. Další mají následovat každých šest měsíců.

Přísnější hranice pro všechny uživatele

Modely jsou podle OpenAI trénované tak, aby nedávaly návody, které by pomohly násilí naplánovat nebo provést. Nově ChatGPT poskytne méně podrobností o minulých masových útocích a jejich pachatelích, i když jsou tyto informace jinde na internetu dostupné. Uživatelé se mohou dál dozvědět, k čemu došlo, jaký to mělo dopad na oběti a komunity, jaké existují varovné signály a jak násilí předcházet.

Omezený obsah zahrnuje rekonstrukce útoků, tedy jaké zbraně a vybavení pachatelé použili a jak je získali, i podrobná srovnání rozsahu újmy, která by mohla zvyšovat proslulost útočníka. Tyto limity platí bez ohledu na věk uživatele i na důvod dotazu.

OpenAI navazuje na práci z května, kdy začalo ukládat krátké věcné shrnutí dřívějších varovných signálů, aby mohl ChatGPT v pozdějších konverzacích reagovat opatrněji. Pokud poslední chaty naznačují možné varovné signály násilí, bude model s informacemi, které lze zneužít, zacházet konzervativněji. Účty porušující pravidla o násilné činnosti firma blokuje.

Automatické ukončení chatu a pozastavení účtu

Ve spolupráci s odborníky na duševní zdraví a prevenci násilí OpenAI pracuje na automatických raných zásazích. Pokud konverzace ukazuje, že se někdo upíná na násilí nebo na vážné ublížení druhému, může ChatGPT chat automaticky ukončit. Když se to stane opakovaně, může být účet dočasně pozastaven.

Ochrany pro teenagery a odhad věku

Režim ChatGPT for Teens uplatňuje u uživatelů do 18 let věkově přiměřená opatření a další omezení citlivého obsahu. Teenageři nově dostanou méně odpovědí týkajících se zbraní, i u dotazů, které působí neškodně. Omezení se vztahují i na praktické informace o zbraních a bezpečnostních systémech, které by mohly násilí usnadnit, a to i bez známek násilného úmyslu. Mladiství mohou ChatGPT dál využít k prevenci a zklidnění násilných situací, k vyhledání podpory nebo ke spojení s důvěryhodnou dospělou osobou.

Odhad věku spustilo OpenAI loni. Systém vyhodnocuje více signálů, včetně vzorců chování, a průběžně posuzuje nové signály. Je-li to namístě, převede uživatele do režimu pro mladší 18 let. Kdo byl zařazen omylem, může svou zletilost potvrdit přes partnera Persona; proces firma označuje za rychlý a šetrný k soukromí.

Rodičovská kontrola a dostupnost

Rodiče mohou propojit svůj účet s účtem dítěte a společně spravovat nastavení bezpečnosti. Propojené účty mohou dostávat upozornění, když speciálně vyškolení kontrolori zjistí vážné obavy ze sebepoškozování nebo chování spojené s poruchami příjmu potravy. V červenci OpenAI upozornění rozšířilo o informaci, že byl teenagerův účet deaktivován za porušení pravidel o násilí. Nyní pracuje na oznámeních, když je účet pozastaven kvůli opakovaným rozhovorům o násilí.

Oznámení neuvádí, zda a kdy se změny projeví konkrétně v České republice nebo v Evropské unii. Uvádí pouze, že ochrany začnou fungovat v příštích týdnech a že je firma bude dál zpřesňovat a sledovat, zda nedochází ke zneužití.

Zdroje

• OpenAI: Community safety report and new protections for teens, 30. 10. 2026