Chatbots ontsporen door feedbackloop: is dit dé oplossing voor AI-kannibalisme?

Kunstmatige intelligentie wordt steeds slimmer, toch? Niet per se. Wetenschappers waarschuwen voor een probleem dat niet zo simpel op te lossen is: AI-systemen die worden getraind op data die door andere AI’s zijn gemaakt, ontsporen door de beruchte feedbackloop. In plaats van betere antwoorden kramen ze op den duur totale onzin uit.

Ze produceren aan de lopende band fouten en hallucinaties en dat fenomeen heeft zelfs een naam: model collapse (modelinstorting) oftewel AI-data-kannibalisme. Nu denken onderzoekers van King’s College London en de Norwegian University of Science een verrassend simpele oplossing te hebben gevonden om het verlies van originaliteit en de afname van hoogwaardige data te stoppen. Hun idee: geef AI af en toe een portie echte, menselijke data. Dat zou veel toekomstige AI-problemen wel eens kunnen voorkomen.

Degenererende AI

Het degeneratieprobleem is ontstaan doordat hoogwaardige menselijke teksten om AI mee te trainen niet oneindig beschikbaar zijn. Grote taalmodellen zoals ChatGPT slurpen enorme hoeveelheden tekst op uit boeken, websites en artikelen. Maar die bron raakt langzaam uitgeput. Daardoor gebruiken ontwikkelaars steeds vaker synthetische data. Dit zijn teksten, afbeeldingen of informatie die zijn gegenereerd door een eerdere versie van AI.

Leestip: Chatbots klinken zelfverzekerd bij medische vragen maar de helft van de antwoorden deugt niet

Op het eerste gezicht zou je kunnen denken dat dit een slim en efficiënt idee is, maar het geeft een aantal gevaarlijke bijwerkingen. Wanneer een model opnieuw wordt getraind op zijn eigen output, stapelen kleine fouten zich op. Die fouten worden vervolgens opnieuw gekopieerd in volgende generaties modellen, waardoor de kwaliteit steeds verder achteruitgaat. Uiteindelijk volgt een totale instorting van het model. En AI-ontwikkelaars blijven beteuterd achter met een AI-chatbot die vooral wartaal produceert.

Eén echt datapunt maakt al verschil

In de studie worden geen enorme taalmodellen gebruikt, maar een eenvoudiger type statistisch model, het zogeheten Exponential Family-model. Dit is minder spectaculair dan moderne chatbots, maar wel ideaal om precies te begrijpen wat er gebeurt onder de motorkap van kunstmatige intelligentie.

Onder leiding van wetenschapper Yasser Roudi wordt duidelijk dat systemen die puur op hun eigen output zijn getraind uiteindelijk altijd instorten. Maar er is een manier om dit degeneratieproces tegen te houden. “Door met een eenvoudiger model te werken, kunnen we statistisch verklaren waarom één enkel datapunt van buitenaf al voorkomt dat een model klinkklare onzin gaat produceren”, zegt Roudi. Zelfs als een AI wordt gevoed met een bijna oneindige hoeveelheid zelf gegenereerde data, blijkt één stukje externe informatie al genoeg om de neerwaartse spiraal te doorbreken. Machines moeten dus af en toe nog een hapklaar brokje informatie uit de echte wereld naar binnen werken om te blijven draaien.

Leestip: Chatbots kunnen kiezers een bepaalde richting op duwen: “Gigantische verschuivingen mogelijk”

Waarom dit zo belangrijk is

Dat inzicht zou wel eens grote gevolgen kunnen hebben voor de toekomst van AI. Steeds meer systemen worden ingezet in toepassingen die direct invloed hebben op ons leven: van chatbots en medische software tot zelfrijdende auto’s. Als zulke systemen massaal worden gevoed met hun eigen output, kan dat helemaal verkeerd aflopen. “Computerwetenschappers hebben straks hulpmiddelen nodig om dit potentieel rampzalige scenario te voorkomen”, waarschuwt Roudi.

Wil je niets van Scientias missen? Volg Scientias op Google Discover dan zie je al onze verhalen!

Uitgelezen? Luister ook eens naar de Scientias Podcast: