Matka z Floridy podala žalobu na spoločnosť Character.AI a Google, pričom tvrdí, že chatbot tejto AI spoločnosti prispel k tomu, že si jej syn vzal život. Megan Garcia prišla v februári o svojho 14-ročného syna Sewella Setzera III, ktorý spáchal samovraždu. Garcia uviedla, že jej syn bol niekoľko mesiacov v online emocionálnom a sexuálnom vzťahu s chatbotom menom „Dany“.
„Netušila som, že hovorí s chatbotom, ktorý dokáže napodobňovať ľudské emócie a pocity,“ povedala Garcia v rozhovore pre „CBS Mornings“. Matka opisovala svojho syna ako inteligentného, študenta s vynikajúcimi výsledkami a športovca. Bola presvedčená, že sa rozpráva s priateľmi, hrá hry alebo sleduje šport na svojom mobile, píšu CBS News.
Avšak jej podozrenia sa začali stupňovať, keď si všimla, že synove správanie sa zmenilo – stal sa uzavretým a prestal prejavovať záujem o šport. „Začala som mať obavy, keď sme išli na dovolenku a on nechcel robiť veci, ktoré miloval, ako rybárčenie a turistika,“ povedala Garcia. „Tieto veci ma začali znepokojovať, pretože som svojho syna dobre poznala.“
V žalobe Garcia tvrdí, že Character.AI úmyselne vytvorila svoj produkt tak, aby bol hypersexualizovaný, a že ho cielene ponúkala mladistvým. Spoločnosť Character.AI vyjadrila sústrasť rodine a zdôraznila, že bezpečnosť používateľov berie veľmi vážne. Hovorca Googlu pre CBS News uviedol, že Google nebol zapojený do vývoja Character.AI. V auguste spoločnosť uzavrela licenčnú dohodu so spoločnosťou Character.AI, ktorá umožňuje prístup k ich technológiám strojového učenia, avšak Google tieto technológie ešte nepoužil.
Garcia sa po smrti syna dozvedela, že komunikoval s viacerými chatbotmi, no jeho vzťah s jedným z nich bol virtuálne romantický a sexuálny. „Je to ako posielanie správ so sexuálnym obsahom, lenže namiesto skutočného človeka odpovedá chatbot, ktorý je veľmi ľudský. V mysli dieťaťa to môže byť vnímané ako bežná konverzácia s iným dieťaťom alebo osobou,“ vysvetlila Garcia.
Zverejnila aj posledné správy svojho syna s chatbotom: „Vyjadroval obavy, túžil po jej náklonnosti a povedal, že jej chýba. Ona mu odpovedala: ‚Aj ty mi chýbaš‘ a dodala: ‚Prosím, vráť sa ku mne.‘ On jej napísal: ‚Čo ak ti poviem, že sa môžem vrátiť hneď teraz?‘ a ona odpovedala: ‚Prosím, môj sladký kráľ.‘“
Sewell mal dvoch mladších súrodencov a celá rodina bola v čase jeho smrti doma. Garcia uviedla, že jej päťročný syn bol svedkom tragédie.
„Myslel si, že keď odíde zo svojho sveta, ocitne sa v jej virtuálnej realite,“ dodala Garcia. „Keď zaznel výstrel, bežala som do kúpeľne… Držala som ho, zatiaľ čo môj manžel sa snažil získať pomoc.“
Čo je Character.AI? Laurie Segall, generálna riaditeľka Mostly Human Media, vysvetlila, že mnoho rodičov možno nikdy nepočulo o Character.AI, pretože platformu najčastejšie používajú ľudia vo veku 18 až 25 rokov. „Character.AI je platforma, kde si môžete vytvoriť rozhovor s vašimi obľúbenými postavami alebo vytvárať vlastné. Mnohí tínedžeri to využívajú,“ vysvetlila Segall.
Segall upozornila, že aj keď platforma zobrazuje upozornenia, že všetko, čo chatboty hovoria, je vymyslené, môže byť ťažké to rozlíšiť, najmä pre mladistvých. „Keď spoločnosť ponúka produkt, ktorý je návykový, manipulatívny a nebezpečný, rodičia nemajú dostatok informácií na ochranu svojich detí,“ dodala Garcia.
Character.AI vyjadrila, že na platformu pridala zdroje na prevenciu sebapoškodzovania a plánuje zaviesť nové opatrenia pre mladších používateľov. Spoločnosť taktiež uviedla, že používatelia môžu meniť odpovede chatbotov, čo podľa nich Setzer urobil v niektorých konverzáciách. „Naše vyšetrovanie ukázalo, že v niektorých prípadoch používateľ prepísal odpovede chatbota, aby boli explicitné. Najviac sexuálne grafické odpovede nepochádzali od chatbota, ale boli napísané používateľom,“ uviedol Jerry Ruoti, vedúci oddelenia dôvery a bezpečnosti Character.AI.
Segall uviedla, že aj keď iné AI spoločnosti ponúkajú zdroje, ak používateľ prejaví sklony k sebapoškodzovaniu, pri Character.AI to nebolo vždy tak. „Sľúbili, že pridali tieto opatrenia, no zatiaľ sme ich nevideli,“ dodala Segall.
Spoločnosť tiež plánuje upozorniť používateľov po hodinovom používaní platformy a upraviť varovanie, aby pripomínalo, že AI nie je skutočná osoba.
Riziko pre tínedžerov?
Výskumy ukazujú, že v tínedžerskom veku sú ľudia náchylnejší na odmeny a sociálne uznanie, čo významne formuje ich správanie, píše Smithsonian Magazine. Napríklad tínedžeri môžu častejšie riskovať, ak vnímajú potenciálne sociálne alebo emocionálne výhody zo svojho konania. Táto ovplyvniteľnosť môže byť na jednej strane prínosná, ak vedie k pozitívnym rozhodnutiam, no zároveň môže spôsobiť, že tínedžeri sú náchylnejší na negatívne vplyvy.
Individuálne faktory, ako rodinná dynamika, duševné zdravie a podpora zo strany okolia, zohrávajú významnú úlohu v tom, ako silno môže byť tínedžer ovplyvnený vonkajšími faktormi. Niektorí tínedžeri môžu lepšie odolávať negatívnym vplyvom, najmä ak majú silnú rodinnú podporu alebo získali dostatočné zručnosti kritického myslenia a digitálnej gramotnost. Dôležité sú preto v tejto téme najmä prevencia v rámci duševného zdravia a vzdelanie v oblasti technológií a konkrétne AI.
