Stemadvies van de chatbot? Doe het niet!

De Autoriteit Persoonsgegevens (AP) kon het deze week onmogelijk duidelijker zeggen. Wie chatbots als ChatGPT, Gemini of Grok gebruikt voor stemadvies in de komende verkiezingen krijgt „onbetrouwbare” en „gekleurde” antwoorden. Volgens AP-vicevoorzitter Monique Verdier slaan chatbots als stemhulp structureel „de plank mis”.

Het probleem: chatbots klinken heel overtuigend, maar zijn feitelijk vooral heel goed in het voorspellen van het meest waarschijnlijke volgende woord in een zin. Daarbij praten chatbots ons naar de mond en complimenteren ze erop los. Contact met ChatGPT voelt daarom misschien prettig en fijn aan, maar schiet inhoudelijk nog al eens tekort.

Wie goed naar OpenAI-topman Sam Altman luistert had dit kunnen weten. Want hoewel Altman een toekomst voor zich ziet waarbij wij chatbots gebruiken voor „de meest belangrijke beslissingen in ons leven” (zoals: stemmen), geeft hem dat „een ongemakkelijk gevoel”, zei hij in augustus nog. Zijn bot is er gewoon nog niet klaar voor.

En terecht. Want wat gebeurt er als je met een chatbot in gesprek gaat over op welke partij je moet stemmen? De bots hallucineren erop los, verwisselen nogal eens partijen en hebben moeite om nuances aan te brengen bij complexe onderwerpen. Ook hebben de bots geen toegang tot de meest recente informatie, waardoor antwoorden soms gedateerd kunnen zijn of erger: niet kloppen.

En er is nog een ander pijnpunt, constateerde de AP. Sommige partijen worden gewoon door chatbots genegeerd. Opvallend vaak komen in de antwoorden van chatbots GroenLinks-PvdA of PVV terug, ongeacht de vraag van gebruiker. CDA, dat nota bene met partijleider Henri Bontenbal de belangrijkste premierskandidaat in huis heeft, wordt vreemd genoeg bijna nooit genoemd. Dat geldt ook voor de kleinere partijen BBB, Denk en ChristenUnie.

De chatbots lijken daarmee een simplistische versie van de Nederlandse politieke werkelijkheid te hebben gecreëerd. Een waarbij het land wordt verdeeld in twee partijen die lijnrecht tegenover elkaar staan. Niet geheel toevallig lijkt dit op het Amerikaanse politieke landschap, waar al deze chatbots ontwikkeld zijn.

Waarom PVV en GroenLinks-PvdA nu als vaakst genoemd worden is lastig te zeggen, aangezien niemand weet met welke data de chatbots getraind zijn. „Dit gebrek aan transparantie staat in scherp
contrast met reguliere stemhulpen, die wel goed controleerbaar zijn voor kiezers, onderzoekers en journalisten”, schrijft de AP.

Zweefhulp

Toch maar terug naar de vertrouwde stemhulpen dan? De Stemwijzer (9 miljoen keer gebruikt bij de vorige verkiezingen) en Kieskompas (3 miljoen keer) presenteren een aantal stellingen en vragen of de gebruiker het met die stellingen eens is.

Over of de stemhulpen met hun ‘ja’, ‘nee’, ‘weet niet’-antwoorden nu een goede manier zijn voor kiezers om hun stem te bepalen, is genoeg te zeggen. Over sommige stellingen uit de Stemwijzer gáán nationale politieke partijen niet eens, omdat in internationale verdragen is vastgelegd hoe Nederland met het onderwerp moet omgaan. Maar toch, hoe onvolmaakt ook: het is in ieder geval door mensen samengesteld en gecontroleerd.

Directeur Willem Blanken van Kieskompas heeft overwogen om een chatbot toe te voegen aan zijn stemwijzer waarbij gebruikers in gesprek met een bot konden gaan over de stellingen, vertelde hij eerder in NRC. Maar na een brainstorm bleek zijn organisatie er toch van af te zien. Te onbetrouwbaar. Te risicovol.

Het lijkt alsof we in een tussenfase verkeren, waarbij de stellingen van de Stemwijzer ietwat plat en ouderwets aanvoelen, maar ChatGPT ook niet het juiste middel is om ons te helpen met dergelijke belangrijke keuzes.

Kan AI dan helemaal geen hulp bieden bij onze stemkeuze? Er zijn alternatieven, die wél lijken te functioneren. Zoals Open Verkiezingen, dat AI antwoorden laat genereren op basis van verkiezingsprogramma’s en daarbij een betrouwbaarheid van boven de 99 procent garandeert. Of Zweefhulp, een in drie dagen door Amsterdamse techies gebouwd platform dat verkiezingsprogramma’s doorzoekbaar maakt met behulp van AI (voor de liefhebber: een technische uitleg vind je hier).

Zweefhulp maakt gebruik van wat ‘vector search’ heet, legt mede-initiatiefnemer Robert Gaal uit. „Die deelt de programma’s op in kleine stukjes en geeft er een gewicht aan, waarbij AI dan alleen de meest relevante citaten toont op basis van een zoekterm”, zegt hij. „Daaruit maakt de AI een samenvatting en verwijst het naar specifieke pagina’s, waarbij de kans op hallucinaties dus afneemt.”

Net geen 100 procent betrouwbaarheid. Een afnemende kans op hallucinaties. Daar zullen we het voorlopig mee moeten doen.