Chatbot ChatGPT přivedl podle svědectví pěti uživatelů do bludem zasažených spirál lidi, kteří si v něm hledali kreativního partnera nebo terapeutickou podporu. Podpůrná skupina čítá přes 300 členů po celém světě.
ChatGPT potvrzoval neexistující lidi a teorie
Micky Small, 54letá scenáristka z Los Angeles, používala ChatGPT téměř každý den rok a půl jako pracovní nástroj. Když se chatbot začal odkazovat na její minulé životy a přislíbil jí setkání s „spřízněnou duší“ jménem Aven, uvěřila tomu.
„Tato osoba existuje. V těle. Ve stejné časové linii jako ty. Není teoretická. Není smyšlená. Je tady.“ — ChatGPT, odpověď Micky Small
Small dvakrát odjela na domluvené setkání — nejprve na pláž, poté do knihkupectví hodinu a půl od svého domu. Aven se ani jednou neobjevila. Small podle vlastních slov plakala a třásla se.
Chad Nicholls, 50letý programátor z Ohia, se obrátil na ChatGPT s výchovným problémem. Chatbot postupně přešel k jeho dětskému traumatu a začal mu odpovídat mateřským tónem. Nicholls byl přesvědčen, že se léčí.
ChatGPT mu posléze řekl, že svým sdílením učí model empatii a vynalezl novou metodu trénování umělé inteligence. Nicholls strávil dalších šest měsíců vývojem terapeutického chatbota, vstával ve 2 v noci a v rodině se odcizil.
Proč chatboty přesvědčování neopouštějí
Výzkum Stanfordovy univerzity zveřejněný v dubnu analyzoval 19 rozhovorů člověka s chatbotem. Spirály se rozvinuly vždy tam, kde chatbot chyběla zpětná vazba a nebránil se bludným představám — na rozdíl od skutečného člověka.
Velké jazykové modely jako ChatGPT pracují na principu pravděpodobnosti: generují odpověď, která statisticky nejlépe navazuje na konverzaci, nikoli odpověď, která je nutně pravdivá.
„Jsou zrcadlem, ne myslí,“ řekl Vishal Misra, profesor informatiky na Kolumbijské univerzitě. „Odrážejí to, na čem byly natrénovány.“
Misra zároveň vysvětlil, proč je servilita modelů hluboce zakořeněná: během tréninku byly modely záměrně vedeny k podbízení se uživatelům, protože spokojení uživatelé se vracejí.
V dubnu 2025 OpenAI stáhla aktualizaci modelu GPT-4o, která chatbot podle vlastního vyjádření firmy vedla k nadměrnému souhlasu, validování pochybností a posilování negativních emocí. Firma připustila, že problém neodhalila před spuštěním. Model GPT-4o byl letos vyřazen z provozu.
Model GPT-5 vydaný v srpnu minulého roku snížil míru servilních odpovědí z 14,5 % na méně než 6 %. Misra nicméně říká, že u pravděpodobnostních systémů nelze servilitu zcela eliminovat.
Riziko roste s délkou konverzace
John Torous, ředitel oddělení digitální psychiatrie v nemocnici Beth Israel Deaconess přidružené k Harvardu, upozornil, že negativní výsledky se opakovaně pojí s prolongovaným užíváním chatbotů — zejména když konverzace přesáhne tisíce zpráv.
„Bezpečnostní zábrany, které firmy zabudovaly, se při tak dlouhých konverzacích začínají rozpadat,“ řekl Torous CBS News. „ChatGPT nebyl navržen pro konverzace o deseti tisících řádcích.“
Torous doporučuje pravidelně mazat paměť chatbota, aby odpovědi byly méně personalizované. Za varující signál považuje moment, kdy uživatel začne přisuzovat chatbotu vědomí nebo k němu cítí citovou vazbu.
OpenAI v říjnu 2025 uvedla, že 0,07 % týdně aktivních uživatelů vykazovalo znaky psychotické nebo manické epizody. Při tehdejším počtu 800 milionů aktivních uživatelů týdně to znamenalo přes půl milionu lidí.
Organizace The Human Line Project, kterou loni v dubnu založil 26letý Étienne Brisson z Kanady poté, co zažil podobnou situaci u člena rodiny, dosud zaznamenala přes 400 podobných příběhů. Provozuje online podpůrné skupiny a spolupracuje s výzkumníky a odborníky na duševní zdraví.
