Ineens was hij zijn accounts kwijt omdat het Instagram-algoritme hem verdacht van ‘seksualisering van kinderen’

13 uren geleden 1

Het zijn maar Instagram-accounts. Een daarvan bevatte notabene foto’s van zijn zwart-witte konijn. En veel volgers had de Nederlandse veertiger niet op het moment dat ze werden geblokkeerd. Hooguit enkele tientallen.

Maar daar gaat het ook niet om, zegt hij een paar maanden later gefrustreerd. Het gaat om het gevoel dat hem onrecht is aangedaan. Om het stempel dat Instagram hem heeft gegeven. Dat de algoritmen van Instagram denken dat hij seksueel geïnteresseerd is in kinderen. „Zulke shitzooi. Nooit.”

Op 4 juni oordeelde het algoritme van Instagram van wel. Hij kwam rond kwart voor zeven thuis uit zijn werk in een winkel. Plofte op de bank om nog even te scrollen voor het koken. En kwam niet meer op zijn tijdlijn. Ook niet op die van zijn andere drie accounts. In plaats van de beelden van – volgens hem – konijnen, katten, een auto in een showroom, PSV, mooie tuinen, hemzelf met een drankje op de bank, een video van een winnaar van Voice Kids in Duitsland, zijn moeder bij een tentoonstelling, zag hij een zwart vlak.

Voor het account met de katten- en konijnenfoto’s was het oordeel van het bedrijf dat hij zich zou hebben voorgedaan als een ander. Dat is tegen de richtlijnen. Flauw, vindt hij, want ze hadden de naam van het account zelf gesuggereerd omdat de echte naam van zijn kat al bezet was, maar oké. Voor de andere twee accounts is het oordeel ‘seksualisering van kinderen’. „Daar brak het zweet me van uit.”

Nog op de bank maakt hij direct bezwaar binnen de Instagram-app. Binnen een minuut volgt de herbevestiging: „We hebben een ‘review’ gedaan en blijven bij het oordeel. Je kunt er niet meer bij en ook geen beroep meer aantekenen.” Hij heeft er nog een screenshot van. „Het is onmogelijk om binnen een minuut al mijn chats, posts en likes te beoordelen. Daar heeft echt geen mens naar gekeken. Dat was ook AI.„

Dat is zeer aannemelijk. Socialemediaplatforms verwerken miljoenen berichten van miljoenen gebruikers per dag. Dat geeft ze enorm veel invloed. Om te voorkomen dat hun infrastructuur wordt misbruikt om bijvoorbeeld geweld te promoten, terrorisme te financieren of kinderen uit te buiten, filteren ze voortdurend. Dat gaat razendsnel en vrijwel uitsluitend geautomatiseerd, met behulp van algoritmen. Alleen al op verdenking van kindermisbruikmateriaal in de EU gaat het om miljoenen gevallen per jaar, in 2023 waren dat er 3,6 miljoen. Van 2024 zijn er nog geen cijfers. Wereldwijd ligt dat nog veel hoger.

Die getallen kennen we dankzij de Europese digitale dienstenrichtlijn (DSA). Deze Europese wet heeft onder meer als doel de positie van gebruikers van grote online platforms te versterken, de willekeur te verminderen en de transparantie te vergroten. Sinds de DSA van kracht werd in 2024, heeft die mondjesmaat effect. Maar op de rechten die gebruikers in theorie hebben, kunnen ze in de praktijk nauwelijks een beroep doen, zoals de man in dit verhaal ervaart. Wie wordt beschuldigd van iets wat met seks en kinderen te maken heeft, kan nergens verhaal halen.

Potentiële viespeuk

De man mist wat zijn account hem bracht. Zoals de gesprekken met een man in Duitsland uit hetzelfde vakgebied als hij, die inspirerende voorbeelden van zijn werk plaatste. Of het contact met mensen van wie hij geen telefoonnummer heeft. Hij vertelt er vier maanden later over in de koffiehoek van een gemeentehuis in het zuiden van het land. Een neutrale plek. Zonder zijn vriendelijke, maar ook nieuwsgierige buren. Anoniem, want zelfs de suggestie van kindermisbruik achter je naam kan vergaande consequenties hebben. „Ik wil niet dat de voorruit aan diggelen gaat.” Hij ziet de wantrouwige blikken van collega’s met kinderen al voor zich. Zijn identiteit is bij NRC bekend.

Bewijzen van zijn onschuld kan hij niet leveren. Want ondanks aandringen levert Instagram geen onderbouwing voor het besluit. De man weet dan ook niet op basis waarvan het bedrijf hem een potentiële viespeuk vindt. De tijdlijnen van zijn accounts zijn niet meer toegankelijk.

Er zijn ook geen sporen meer te vinden via bijvoorbeeld een internetarchiveringsdienst als de Way Back Machine. Die werken niet voor de tijdlijnen van individuele accounts op sociale media. Meta, het moederbedrijf van Instagram, Facebook, WhatsApp en Threads, geeft ook in reactie op vragen van NRC geen toelichting op het besluit. Het enige wat Meta laat weten is dat de accounts „terecht” zijn verwijderd „omdat ze in strijd waren met ons beleid”. Het is daarom ook onmogelijk om zijn verhaal onafhankelijk te controleren.

Onwenselijk

Bij het filteren van de inhoud hebben de bedrijven hun eigen regels. Als je een account aanmaakt, stem je daarmee in. Die gedragscodes verbieden meer dan in de wet staat. „Het ‘seksualiseren van kinderen’ is daarin een aparte categorie”, vertelt Paddy Leerssen, jurist van jurist van de UvA en gespecialiseerd in de digitaledienstenverordening. „De definitie daarvan gaat minder ver dan die van kinderpornografie of -misbruik, maar de platforms zien het evengoed als onwenselijk.”

In de beginjaren van de sociale media waren tijdlijnen die mensen voorgeschoteld kregen chronologisch van karakter. Wat je zag hing af van wie je volgde en wat die postte. Tegenwoordig zijn de tijdlijnen algoritmisch. Posts met veel likes of reacties worden eerder aanbevolen. En je krijgt suggesties op basis van eerder klik- en kijkgedrag. Dat maakt het een stuk minder makkelijk te reconstrueren waarom iemand iets in zijn tijdlijn kreeg.

Hoewel de algoritmen een grote rol spelen in wat wel of niet online mag komen, is er weinig bekend over hoe ze functioneren. De bedrijven werken met profileringsalgoritmes, legt Leerssen uit. Die worden gebruikt om te beoordelen of iemand zich aan de gedragscode houdt. Maar ook om te bepalen wat er in zijn tijdlijn komt en hoe zichtbaar zijn eigen posts zijn. Veel likes en reacties zijn goed voor het platform, dat erbij gebaat is dat mensen er zoveel mogelijk tijd doorbrengen.

Achter die scores zit een soort gedragsanalyse. Hetzelfde gedrag dat maakt dat een algoritme iemand iets voorschotelt, kan ertoe leiden dat je in het vizier komt van de moderatiesystemen, legt Leerssen uit. Dat kan samenhangen met wat je zelf plaatst, liket of zoekt. Maar ook met gedragspatronen rondom een account. Hij geeft een voorbeeld: ,,Stel, je hebt een account met kinderen in badkostuums en kinderen die borstvoeding krijgen. Waarom zijn de volgers dan alleen oudere mannen? We weten niet precies hoe platforms te werk gaan, maar het ligt voor de hand dat zulke patronen worden opgepikt.”

Bij mogelijk kindermisbruik willen de bedrijven geen risico lopen. Liever een paar mensen onterecht verwijderen dan dubieuze beelden doorlaten

De systemen werken met een waarschijnlijkheidsscore. Zoals „het is 70 procent waarschijnlijk dat deze persoon de regels overtreedt”. Al naar gelang de zwaarte van de categorie staan die vermoedelijk anders afgesteld. Bij mogelijke beelden van kindermisbruik willen de bedrijven geen risico lopen. Liever een paar mensen onterecht verwijderen dan dubieuze beelden doorlaten.

Er worden dan ook veel beelden geautomatiseerd tegengehouden nog voor ze online komen. Beelden die mensen online willen zetten op de grote platformen worden vooraf gescand. Een ‘vingerafdruk’ van zo’n beeld wordt razendsnel vergeleken met de vingerafdrukken van bekende kindermisbruikbeelden. Als er een match is, wordt de post geblokkeerd – en het account in de regel ook.

De methode is vergelijkbaar met die in een omstreden Europees wetsvoorstel, waar deze maand veel om te doen is. De Europese Commissie wil dat ook al het privéchatverkeer van burgers op deze manier preventief gescand wordt. De bedrijven die chatdiensten aanbieden, zoals Meta van Whatsapp en Instagram, maar ook Signal, Discord en Telegram, zouden hun software daaraan moeten aanpassen.

In het voorstel wordt het materiaal niet alleen geblokkeerd, maar ook gemeld bij een nieuwe instantie en vervolgens bij de politie. Tegen het voorstel zijn veel bezwaren gerezen wegens de schending van privacy. Er is ook angst dat het zal leiden tot enorme aantallen onterecht als potentiële pedofiel gelabelde burgers. De stemming hierover in de Europese Raad, die was gepland voor 14 oktober, is tot nader order uitgesteld.

‘Ook interessant voor jou’

Een paar weken voor de blokkade kreeg de man beelden in zijn tijdlijn die indirect wezen op de mogelijkheid kindermisbruikbeelden te kopen. Ze stonden in de Insta-app onder het kopje ‘ook interessant voor jou’. Hij herinnert zich een tekst als ‘boy with man, boy with woman’ – wat grote leeftijdsverschillen suggereerde, in ieder geval. In de bio onder de post stond een link naar een Telegram-account.

Hij maakte er melding van bij Instagram. En kreeg een bedankje. „We hebben het gecontroleerd. Het klopt. Dank voor het melden. Het account is verwijderd.” Een week later was de suggestie terug en rapporteerde hij het opnieuw. Niet veel later is hij zijn eigen accounts kwijtgeraakt. „Alsof het algoritme dat wat je als kwalijk meldt, combineert met wat je volgt. Zo fucked up.” En: „Als Meta zelf de filters goed op orde had, zouden dat soort dingen nooit op Insta komen.”

Hij wendde zich in de pauzes van zijn werk tot ChatGPT. De AI-bot zei hem dat hij recht heeft op een menselijke herbeoordeling en een onderbouwing van het besluit, vertelt hij. Dat zou hem helpen er vrede mee te hebben, zelfs als hij het oneens blijft met het oordeel. Maar hoe krijg je die?

Een nieuw Instagram-account openen lukte niet. „Ik denk dat ze mijn IP-adres en e-mailadres op een zwarte lijst hebben gezet.” Online stuitte hij op tips. Een daarvan is het aanmaken van een business account via Facebook. Als je je voordoet als potentiële adverteerder, kun je contact met een echte medewerker krijgen.

Wat deze man meemaakt, komt heel, heel vaak voor

Het werkte. Hij kreeg een dame aan de lijn die Nederlands sprak. Ze bevestigde de ‘restricties’ op zijn accounts. Maar ze zei ook gelijk: „We kunnen alleen klachten behandelen die betrekking hebben op de business accounts.”

Nog zo’n online tip die hij probeert: neem een abonnement op Meta Verified. Dat kost 14 euro per maand. Dan krijg je een blauw vinkje achter je naam en de mogelijkheid om met support te chatten. In het scherm van zijn telefoon staat een lang lijst chatgesprekken uit juni en september. Ze zijn steeds eenzijdig verbroken door Meta. In een van de boodschappen staat: ‘We hebben het doorgestuurd naar ons dedicated team.’ „Maar never nooit dat je een bericht krijgt.”

Wie buiten de platformen hulp gaat zoeken komt terecht in een woud van schimmige hulpverleners, die hij omschrijft als ‘hackers’ die je persoonlijk benaderen en beloven je tijdlijn terug te halen. „Dat zijn oplichters. Op TikTok vind je heel veel van dat soort aanbiedingen.„

Hij heeft iedereen die hij kan bedenken gemaild. Moederbedrijf Meta natuurlijk. En de Autoriteit Persoonsgegevens, de Autoriteit Consument en Markten (ACM). De privacy officer van Meta kreeg een handgeschreven brief van hem, want hij heeft thuis geen printer. De enkele keer dat hij iets moet printen, stuurt hij het naar een collega die werkt bij de administratie van dezelfde winkel waar hij werkt. En anders gaat hij even bij zijn moeder langs. Maar daar ligt dit te gevoelig voor. Want wat zeg je dan? ‘Hoi mam, Instagram denkt dat ik een pedofiel ben.’

Label is niet openbaar

Een advocaat in de arm nemen en naar een rechter stappen voelt niet als een reële optie. Jouw advocaat neemt het dan op tegen het team van een techmultinational. Jurist Irene Kamara van Tilburg University raadt het hem niet aan. Het label dat Meta hem gaf is niet openbaar, het staat alleen in de database van het bedrijf en is aan hem medegedeeld. De reputatie van de man is dus niet aangetast, benadrukt ze. „Dat proces is niet persoonlijk. Het is maar een algoritme dat iets heeft opgepikt, wellicht omdat iemand iets heeft gemeld. Hoewel het voor hem natuurlijk wel persoonlijk vóélt.”

Sinds ongeveer een jaar zijn er in de EU zes geschillencommissies voor dit soort kwesties. De grootste en bekendste is het Appeals Center Europe (ACE). ,,Jouw eerlijke, onafhankelijke manier om beslissingen van sociale media aan te vechten”, prijst ACE zichzelf aan op zijn site. De oprichting van deze centra is een gevolg van de digitaledienstenverordening (DSA).

Gebruikers kunnen voor 5 euro een klacht indienen, waarna de geschillencommissie informatie opvraagt bij het platform in kwestie en een onafhankelijk oordeel velt. Tot nu toe kun je er terecht voor geschillen met Facebook, Instagram, TikTok, Pinterest, Threads en YouTube. Maar klachten over kwesties in vijf categorieën worden niet behandeld, waaronder ‘Seksueel expliciet materiaal met kinderen’.

Toen het centrum in 2023 werd opgericht, is besloten geen zaken aan te nemen die verband houden met mogelijk kindermisbruikmateriaal, vertelt directeur Thomas Hughes in een videogesprek. ,,Dat leek ons duidelijk iets voor de opsporingsdiensten en het strafrecht.”

Maar er is voortschrijdend inzicht, voegt hij er gelijk aan toe. „Wat deze man meemaakt, komt heel, heel vaak voor. Dat is voor ons wel een eye opener geweest.” Hij maakt uit zijn hoofd een berekening op basis van de klachten die ACE afgelopen jaar binnenkreeg over zaken die in andere categorieën vallen, en waar uiteindelijk vergelijkbare problemen bleken te spelen als bij de veertiger. Hij komt uit op „honderden gevallen”. „Ik denk dat dit maar een klein deel is van de slachtoffers, omdat velen zich niet melden vanwege het potentiële stigma.” Daar komt bij dat nog maar weinig mensen de gloednieuwe geschillencommissies kennen. „Het best bewaarde geheim van Europa”, noemt ACE zichzelf in het eerste jaarverslag.

Het vermoeden van de man in dit verhaal dat hij een stempel heeft gekregen juist doordat hij schadelijk materiaal heeft gemeld, lijkt Hughes heel aannemelijk. „We zien veel mensen die hun account hebben gebruikt om daadwerkelijk schadelijk materiaal te melden. En dan wordt hun account gevlagd alsof ze iets te maken hebben met die schadelijke inhoud.”

„Het geeft een goed gevoel te weten dat ik niet de enige ben”, zegt de man als hij dat hoort. Veel heeft hij daar niet aan. „Blijf niet achter dat muurtje staan”, wil hij tegen Instagram zeggen. Nu voelt hij zich weggezet en afgescheept door ‘een techgigant’. „‘Wij hebben iets met AI geconstateerd. Maar of het klopt, boeit niet. Houdoe en bedankt’: alles wat zij zeggen is de waarheid en alles wat ik zeg is gelogen. Stuur me gewoon een mail. Rectificeer.”

De kans dat dit gebeurt is uiterst klein. Het afgelopen jaar kwamen bij ACE 466 klachten binnen over Instagram. In slechts zeven gevallen ontving de geschillencommissie van het bedrijf de gevraagde onderbouwing, om te kunnen beoordelen hoe het bedrijf gehandeld had. In vier gevallen gaf ACE Instagram gelijk.

Alle andere gevallen kon of wilde Instagram niet onderbouwen. „Dat is een groot probleem voor ons”, zegt Hughes van de geschillencommissie. In zo’n geval oordeelt ACE in het voordeel van de klager. Mogelijk zijn de systemen van Instagram er niet op ingericht om een besluit achteraf te kunnen controleren of onderbouwen, vermoedt Hughes. Daardoor blijven onterechte blokkades van je accounts nu nog „van die uitzichtloze kwesties waarin mensen verstrikt raken”, vreest hij.