Nieuw vogelzwerm-model moet AI beter laten samenvatten

Onderzoekers laten zien dat AI lange documenten beter kan samenvatten als een vogelzwerm-achtig systeem eerst de belangrijkste zinnen selecteert.

Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!

Kunstmatige intelligentie kan razendsnel samenvattingen maken van lange documenten. Maar daar zit ook een bekend probleem: AI-systemen verzinnen soms feiten of geven informatie verkeerd weer. Zulke fouten worden vaak ‘hallucinaties’ genoemd. Dat is niet alleen vervelend omdat de informatie onjuist kan zijn, maar ook omdat het veel tijd kost om alles achteraf te controleren.

Onderzoekers van de New York University denken nu een stap te hebben gezet richting betrouwbaardere AI-samenvattingen. Zij ontwikkelden een methode die is geïnspireerd op een opvallend verschijnsel uit de natuur: het zwermgedrag van vogels. Hun systeem werkt als een voorbewerking voor grote taalmodellen, ook wel LLM’s genoemd. Het idee is simpel: geef een taalmodel niet meteen een heel lang document, maar verwerk dat document eerst tot een kortere versie dat de belangrijkste zinnen bevat. Het onderzoek is te vinden in het tijdschrift Frontiers in Artificial Intelligence.

De draad kwijt

Volgens onderzoeker Anasse Bari raken taalmodellen snel de draad kwijt op het moment dat een tekst erg lang, rommelig of vol herhaling is. Bari: “Daardoor verliezen AI’s en taalmodellen belangrijke feiten uit het oog, raakt belangrijke informatie verdund door irrelevante inhoud en dwalen AI’s in sommige gevallen zelfs helemaal af van het bronmateriaal.”

Om dat probleem aan te pakken keken de onderzoekers naar hoe vogels zich in groepen organiseren. In hun model wordt elke zin uit een lang document behandeld als een soort ‘virtuele vogel’. De zinnen worden eerst beoordeeld op drie verschillende punten. Zo kijkt het systeem naar de plaats van een zin in het document, naar hoe belangrijk die zin is binnen het geheel en naar de vraag of de inhoud aansluit bij het hoofdonderwerp. Ook krijgen zinnen uit belangrijke delen van een tekst, zoals de inleiding, resultaten en conclusie, extra gewicht.

Vogelzwermen

Daarna volgt de stap die is afgeleid van vogelzwermen. Zinnen met een vergelijkbare betekenis worden bij elkaar gezet in groepen, net zoals vogels in de lucht zwermen vormen. Dat gebeurt op basis van drie bekende regels uit het zwermgedrag: dicht bij soortgenoten blijven, dezelfde richting aanhouden en niet te dicht op elkaar vliegen. In deze digitale versie betekent dat dat zinnen die veel op elkaar lijken in dezelfde groep belanden, maar dat er tussen gegroepeerde zinnen genoeg verschillen aanwezig zijn om ze uit elkaar te kunnen houden.

Dat is belangrijk, omdat de best scorende zinnen anders te veel op elkaar kunnen lijken. In een onderzoeksverslag dat zich richt op een ziekte zouden de belangrijkste zinnen bijvoorbeeld allemaal over behandelresultaten kunnen gaan. Dan krijg je een samenvatting die één onderwerp steeds opnieuw benoemt, terwijl andere belangrijke onderdelen ontbreken. Door met ‘zwermen’ te werken proberen de onderzoekers een diversere mix te krijgen die informatie bevat uit alle onderdelen van het onderzoek.

Vervolgens worden uit elke groep de beste zinnen gekozen. Die verkorte en opgeschoonde tekst gaat pas op dat moment naar een taalmodel, dat er een vloeiende samenvatting van maakt. Bari: “Het doel was om de teksten van AI-modellen sterker te verankeren in het bronmateriaal. We proberen dit te doen door herhaling en ruis te verminderen voordat een definitieve samenvatting wordt gemaakt.”

Kijktip: AI en de taal van het leven en hoe maak je een computers deel 3 | Scientias Podcast 61

De onderzoekers testten hun aanpak met behulp van meer dan 9.000 documenten. Daarbij vergeleken ze hun methode met een AI-systeem dat zonder deze extra stap samenvattingen maakte. Volgens de onderzoekers leidde de combinatie van hun vogelzwerm-algoritme en een taalmodel tot samenvattingen die feitelijk nauwkeuriger waren dan de samenvattingen die een taalmodel op zichzelf maakt. Daarmee lijkt de aanpak dus te helpen om de afstand tussen de brontekst en de samenvatting van een AI kleiner te maken.

Toch zijn de onderzoekers voorzichtig met het maken van stellige claims. “Het doel is om de AI samenvattingen te laten maken die dichter bij het bronmateriaal blijven,” zegt Bari. “Deze aanpak kan mogelijk een deel van het probleem van hallucinaties aanpakken, maar we willen niet beweren dat we het hebben opgelost; dat is niet zo.”

We schreven vaker over dit onderwerp, lees bijvoorbeeld ook Waarom je AI niet om dieetadvies moet vragen en Door AI-chatbots gaan we steeds meer op elkaar lijken. En dat wil je niet . Of lees dit artikel: Pas toch maar op met die hippe AI-agents, waarschuwen onderzoekers .

Uitgelezen? Luister ook eens naar de Scientias Podcast: