Kan Roblox veilig gehouden worden voor kinderen? ‘Door naar de échte leeftijd te vragen, maken we het ons juist niet gemakkelijk’

Kun je een gameplatform zo groot als Roblox veilig houden voor kinderen? Inmiddels spelen dagelijks 150 miljoen mensen spelletjes via de Roblox-app, waarvan een derde onder de 13 jaar. Iedereen kan zelf spellen maken voor het platform, die vervolgens worden uitgeserveerd als een soort Netflix.

Dat dat fout kan gaan is inmiddels wel duidelijk. Zo ontdekte NRC samen met onderzoekscollectief CTE in augustus dat de internationale beweging ‘Com’ kinderen ronselde via Roblox, die vervolgens worden afgeperst of blootgesteld aan afschuwelijke beelden. In het verleden kwamen vaker verhalen naar buiten over kinderen die via Roblox worden benaderd door volwassenen, met soms kwalijke gevolgen.

Begin december rolde Roblox in Nederland, Australië en Nieuw-Zeeland een update uit om de veiligheid te verbeteren: wie nu wil chatten via het platform, moet eerst haar of zijn gezicht laten scannen, zodat de app de leeftijd kan schatten. Matt Kaufman, hoofd veiligheid bij Roblox (Chief Safety Officer), snapt de zorgen, zegt hij in gesprek met NRC. „Nu platformen als Roblox steeds groter worden, wordt er ook meer op ons gelet. Wij verwelkomen die aandacht op een zekere manier. We willen ons juist aan hogere eisen houden dan alle andere bedrijven.”

Wat Roblox anders maakt is dat we eerlijk zijn over de leeftijd van onze gebruikers

Contouren van Facebook

De Nederlandse overheid kondigde in oktober een onderzoek aan naar het platform, om vast te stellen of het veilig genoeg is voor kinderen. Roblox bestaat al twintig jaar, maar groeit zeker sinds de coronapandemie enorm. Door de huidige omvang krijgt het platform steeds meer de contouren van een Facebook of TikTok, die officieel niet of nauwelijks gebruikers onder de 13 toestaan.

„Iedereen weet dat er kinderen op elk sociaal platform aanwezig zijn”, zegt Kaufman daarover. „Wat Roblox anders maakt is dat we eerlijk zijn over de leeftijd van onze gebruikers.” Volgens Kaufman maakt die eerlijkheid „Roblox kwetsbaar voor vragen die andere platformen niet krijgen”. Kinderen vereisen nu eenmaal betere controles en regels. „Wij maken het ons niet gemakkelijk door naar de echte leeftijd te vragen, in plaats van – zoals andere platformen – een vinkje waarmee je belooft dat je ouder bent dan 13 jaar. En dan maar zeggen: we hebben onze verantwoordelijkheid genomen.”

In het verleden experimenteerde Roblox daarom met functies waarbij gebruikers hun ID-kaart moesten tonen. Maar het bedrijf is daar niet erg gelukkig mee, zegt Kaufman: het wil zo min mogelijk privé-informatie verzamelen en veel kinderen in de Verenigde Staten hebben überhaupt geen ID-kaart. Daarom dus de gezichtsscan. „De beelden verwijderen we zodra we je leeftijd hebben bepaald”, zegt Kaufman, een proces dat volgens hem ‘enkele seconden’ duurt.

Uit zo’n check rolt vervolgens een schatting: het systeem kan er „tot twee jaar” naast zitten. Het systeem is volgens hem daarmee aardig accuraat. Door te kijken naar veranderingen in de gezichtsstructuur die in de eerste 25 jaar van het leven plaatsvinden, plaatst het gebruikers in ‘’: onder de 9 jaar, 9 tot 12 jaar, 13 tot 15 jaar, 17 en 18 jaar en daarboven. Chatten mag alleen met mensen in dezelfde ‘emmer’. Bijvangst zou een beperking van de hoeveelheid pesten op het platform moeten zijn – ook pesten is een aanhoudend probleem. „We hebben veel gesproken met specialisten in de ontwikkeling van kinderen – binnen welke leeftijdscategorieën gaan kinderen met elkaar om?”

Als we er aanleiding toe hebben, vragen we om nogmaals de scan uit te voeren

Andermans foto

Er zijn echter zorgen over deze methode. Zo bleek de gezichtsscan van een app als YouTube gemakkelijk te omzeilen door het gebruik van andermans foto’s of zelfs door de telefoon op een scherm te richten. Roblox bouwt daarom ‘liveness checks’ in, zegt Kaufman: je moet eerst via een video laten zien dat je je gezicht kan bewegen. „We analyseren ook signalen dat een speler misschien niet écht de leeftijd heeft die uit de gezichtsscan is gerold. Als we er aanleiding toe hebben, vragen we om nogmaals de scan uit te voeren.” Hij noemt het een „proces”, waarbij Roblox verschillende lagen aan veiligheidscontroles op elkaar stapelt om problemen te ondervangen.

Een meerderheid van de spelers op Roblox communiceert alleen met vrienden en familie, benadrukt Kaufman. Het platform heeft zijn chatfuncties daarop afgesteld: geen of beperkte chat voor de jongste gebruikers. Ben je ouder dan 13 en jonger dan 18 jaar, dan kun je slechts chatten met kinderen van jouw leeftijd, en streng gefilterd op taal en verwijzingen naar andere chatapps –

Toch bleek afgelopen week uit een groot onderzoek van de Nederlandse educatieve gamemaker HackShield onder 85.000 kinderen dat één op de drie kinderen in games weleens chat met mensen die ze niet kennen – al benadrukt Roblox dat het onderzoek vóór de implementatie van de nieuwe leeftijdsgrenzen op chats werd gehouden. In online contact met vreemden schuilen voor kinderen grote risico’s. Roblox probeert streng te handhaven op het verbod om andere gebruikers naar chatapps buiten het platform te lokken, maar in het verleden wisten veel spelers dat te omzeilen. Ze verzonnen bijvoorbeeld verhulde termen om bekende chatplatformen mee te omschrijven – zo werd Discord ‘Dizzy’ of ‘Cord’.

Als we problemen zien, melden we dat bij de politie. Maar niet ieder platform doet dat

Van app naar app

„Ik denk dat we een stap terug moeten nemen en het moeten hebben over de veiligheid van kinderen en tieners op internet in het algemeen”, zegt Kaufman. „Zeker tieners springen van app naar app naar app — even chatten, dan een video op een video-app plaatsen, dan even gamen. Dat is onderdeel van hun dagelijkse routine.” Maar veel van die andere apps zijn niet zo scherp op de veiligheid als Roblox probeert te zijn, zegt hij. „Je kan bij ons bijvoorbeeld geen foto’s of video’s delen. We versleutelen geen berichten, we monitoren alle communicatie. Als we problemen zien, melden we dat bij de politie. Maar niet ieder platform doet dat.”

De algoritmen die gesprekken onderzoeken op het gebruik van termen als Discord worden daarom al enige tijd aangevuld met het zogenoemde ‘Sentinel’-systeem. Dat is een AI-systeem dat het gedrag van Robloxspelers analyseert. Merkt het systeem bijvoorbeeld dat iemand te vaak probeert om persoonlijke informatie los te peuteren bij andere gebruikers, dan wordt dat gemeld, zegt Kaufman. „Vervolgens hebben wij een team van mensen afkomstig van politie- en inlichtingendiensten dat dit soort gevallen bekijkt. Als er iets mis is, dan stappen we naar de politie.”

Maar AI-systemen slagen er lang niet altijd in om rotte appels op te sporen. Roblox – dat afgelopen jaar een omzet had van bijna 4 miljard euro, maar bijna een miljard euro verlies leed – zou meer geld moeten investeren in menselijke moderatie, vinden veel experts.

Volgens Kaufman berust dat op een misverstand over de effectiviteit van menselijke moderatoren. „Je kan een enkel mens goed trainen om goede moderatiebeslissingen te nemen”, zegt hij. „Maar elk individu denkt anders na over problemen. Als je heel veel mensen traint, dan is het systeem juist minder accuraat. Op een schaal van 150 miljoen spelers per dag, miljarden berichten die heen en weer vliegen, miljoenen stukjes game die dagelijks in Roblox worden gemaakt… dan werkt het gewoon niet om daar alleen mensen op los te laten.”

Hij ziet meer heil in de inzet van een kleinere groep menselijke moderatoren die goed getraind zijn in het herkennen van probleemsituaties. „Die voeden onze algoritmen.” Volgens Kaufman heeft het systeem Sentinel zich bovendien al bewezen. „Dat herkent veel kwalijke situaties die verder door niemand zijn opgemerkt.”

Kaufman hamert erop dat Roblox koploper is in het onderzoek naar kinderveiligheid op zo’n grote schaal. Vooralsnog, zegt Kaufman, gaat de implementatie van de nieuwe gezichtsscan goed. Volgens zijn eigen data is er „nu al sprake van een daling in pestgedrag” in de drie landen waar de scan wordt ingezet, maar is het nog te vroeg om conclusies te trekken.

Gaat het werken? Er gebeurt veel op Roblox; zowel kinderen als kwaadwillenden zoeken dagelijks naar manieren om nieuwe regels te omzeilen. De bezorgde ouder zal zijn of haar kind toch altijd zelf in de gaten moeten houden. Er zijn zeker positieve kanten aan Roblox: het is een platform dat creativiteit en samen spelen aanmoedigt. Maar het blijft de vraag of het überhaupt mogelijk is om een platform van deze grootte volledig veilig te maken – en hoeveel risico’s ouders bereid zijn te accepteren.