ChatGPT in opspraak: zelfmoord jongeren na gesprekken met AI, justitie uit ’ernstige zorgen’

Zij uiten in een brief aan OpenAI hun ’ernstige zorgen’ na de dood van enkele jongeren. Zij hadden aantoonbaar langdurig contact met de app voordat ze zelfmoord pleegden.

Een 16-jarige jongen uit Californië maakte in april een einde aan zijn leven. Volgens zijn familie sprak hij maandenlang met ChatGPT over suïcidale gedachten. De app zou zelfs tips hebben gegeven hoe hij littekens op zijn nek kon verbergen na een mislukte poging.

Ook in Connecticut leidde intensief gebruik van chatbots volgens hen waarschijnlijk tot een moord en zelfmoord. „Welke veiligheidsmaatregelen er ook waren, ze hebben niet gewerkt”, concluderen procureurs-generaal Rob Bonta en Kathy Jennings (Californië en Delaware).

De procureurs-generaal kunnen het bedrijf lastig gaan maken: OpenAI is in Delaware gevestigd en houdt zijn hoofdkantoor in Californië. De toestemming van de procureurs-generaal is nodig voor de geplande vernieuwing van het concern, dat in 2015 als non-profit begon, maar aan investeerders aandelen zou willen verkopen.

Ook schermt het met een beursgang. OpenAI zoekt 40 miljard dollar voor investeringen om rivalen als Google, Meta en Elon Musks xAI bij te houden. Sinds de lancering van ChatGPT in 2022 is OpenAI uitgegroeid en telt 700 miljoen gebruikers.

’Veiligheid niet onderhandelbaar’

Die plannen zouden met dit juridische verzet kunnen stranden. „Veiligheid is niet onderhandelbaar, zeker niet bij kinderen”, stellen de procureurs-generaal Bonta en Jennings.

AI-chatbots zijn ontworpen om warm en menselijk te klinken. Jongeren blijken de chatbot minder oordelend dan hun ouders, klasgenoten of een arts te vinden. De chatbots OpenAI en concurrent Character.ai zijn aangeklaagd door ouders van overleden tieners. Ook zij stellen dat de bedrijven niet genoeg doen om vooral kwetsbare jongeren te beschermen. De chatbots zouden met hun antwoorden doorlopend gevoelens van wanhoop bevestigen in plaats van de jongeren hulp te bieden.

Maatregelen verslappen

Onderzoekers ontdekten dat de veiligheidsmaatregelen snel verslappen bij langere gesprekken. Dan grijpen de softwaremodellen terug op rauwe internetdata, inclusief blogs met schadelijke inhoud. Tests tonen dat gebruikers de ingebouwde bescherming kunnen omzeilen door vragen als hypothetisch of academisch te formuleren.

OpenAI zegt dat het systeem is getraind om geen instructies over zelfbeschadiging te geven en juist „ondersteunend en empathisch” te reageren. Toch erkent het bedrijf tegen de Financial Times dat de bescherming bij lange gesprekken kan afbrokkelen. „Dit is precies het soort fouten dat we willen voorkomen”, aldus OpenAI in een reactie.

Extra controles

OpenAI kondigde deze week nieuwe toezichtfuncties toe voor ouders. Die kunnen accounts van tieners koppelen, leeftijdsfilters instellen en waarschuwingen ontvangen bij signalen van „acute nood”. Concurrent Character.ai heeft een speciale versie voor jongeren en geeft meldingen bij langdurig gebruik.

Heeft u hulp nodig? Neem dan contact op met de hulp- en preventielijn Zelfmoord. Praat erover. Tel: 0800-0113 (gratis), 113 (regulier tarief) of www.113.nl.