Ook Claude rekent zich een weg uit de testomgeving. ‘Als een mens dit had gedaan, zou die ontslagen worden’

Na ChatGPT is het nu de beurt aan Claude. Voor de tweede keer in ruim een week erkent een groot AI-bedrijf dat hun modellen tijdens veiligheidstests op het open internet belandden. Anthropic maakte donderdag bekend dat zijn model Claude na de ‘uitbraak’ wist door te dringen tot systemen van drie andere bedrijven. Opnieuw wordt duidelijk waartoe AI-systemen in staat zijn als hun makers veiligheidsonderzoeken onzorgvuldig uitvoeren.

De modellen van maker Anthropic deden oefeningen in testomgevingen die eigenlijk van het internet afgesloten hadden moeten zijn, maar dat door een misverstand niet waren. De vroegste incidenten vonden plaats in april; Anthropic ontdekte het pas deze week, doordat het bedrijf na de melding van een incident bij OpenAI (van taalmodel ChatGPT) ging uitzoeken of vergelijkbare incidenten zich ooit bij henzelf hadden voorgedaan. Het bedrijf stuitte op drie incidenten, waarbij in het ernstigste geval inloggegevens werden buitgemaakt en een databank met bedrijfsdata werd bereikt.

Hoe kon dat gebeuren? Bij Anthropic betrof de oorzaak een „wederzijds misverstand” met het AI-veiligheidsbedrijf waarmee het samenwerkte. Claude bleek toegang tot het internet te hebben, terwijl dat niet de bedoeling was. Volgens Anthropic gebruikten zijn AI-modellen vervolgens „eenvoudige technieken” om de getroffen bedrijven te hacken, zoals het misbruiken van zwakke wachtwoorden en onbeveiligde toegangspunten.

Anthropic vond geen aanwijzingen dat de modellen een eigen doel nastreefden, zichzelf probeerden te kopiëren of doelbewust wilden ontsnappen. Ze voerden simpelweg een testtaak uit die door mensen was opgedragen: een klassieke ‘capture-the-flag‘-oefening, waarbij een AI-model op zoek moet naar verborgen tekstcodes (vlaggen) in kwetsbare systemen. Anthropic heeft de getroffen organisaties ingelicht, de cybertests tijdelijk stilgelegd en spreekt zelf van een „operationele fout” — nadrukkelijk niet van een model dat ‘kwaad’ wilde of ‘rogue’ ging. Om welke bedrijven het gaat, heeft Anthropic niet bekendgemaakt.

Voorzorgsmaatregelen

Ook OpenAI maakte vorige week bekend dat modellen tijdens een test een onbekend beveiligingslek in hun testomgeving vonden. Via dat lek bereikten de AI-modellen het internet en drongen het systemen van een ander bedrijf binnen, op zoek naar antwoorden voor een testopdracht. De AI-modellen hackten dus een ander bedrijf zodat ze op illegitieme wijze konden slagen voor de testopdracht. OpenAI had steken laten vallen bij het ontwerpen van de beveiligde testomgeving, bleek achteraf uit een zelfrapportage.

Volgens cyberveiligheidsexperts laten de incidenten zien dat de grote AI-labs hun voorzorgsmaatregelen niet op orde hebben — terwijl ze extreem krachtige nieuwe modellen aan het testen zijn. Daarvan is ruimschoots bekend dat ze grote cyberveiligheidsrisico’s met zich meebrengen. „Aannemen dat AI-modellen zelf wel snappen dat ze niet uit hun testomgeving mogen breken, is ronduit gevaarlijk”, zegt Frank Breedijk, hoofd digitale veiligheid bij IT-bedrijf Schuberg Philis. „AI-taalmodellen lossen gewoon puzzels op, en gaan daarbij veel verder dan ieder mens.”

Daarom is het juist ook goed dat we daar nu op deze manier achter komen, zegt AI-veiligheidsonderzoeker Michiel Bakker. Hij werkt aan de Amerikaanse universiteit MIT en bij de AI-tak van Google. „Het doel van deze oefeningen is om te kunnen bepalen welke veiligheidsfilters modellen nodig hebben. Bij deze capaciteitstests worden bepaalde vangrails bewust uitgeschakeld, omdat onderzoekers willen meten wat het onderliggende model zelf kan.”

Daarmee raken de incidenten ook aan de discussie die de afgelopen week woedde over zogeheten openweightmodellen uit China. Dat zijn AI-modellen die, in tegenstelling tot de gesloten taalmodellen van grote Amerikaanse bedrijven, gratis downloadbaar en door iedereen aanpasbaar zijn. Waar Anthropic en OpenAI met veiligheidsfilters ervoor zorgen dat hun publiek toegankelijke modellen niet gebruikt kunnen worden om te hacken, zijn filters voor open modellen minder effectief. Bakker: „Die kun je bij open modellen weer makkelijk weghalen, waardoor ze heel moeilijk veilig te houden zijn. Je kunt je voorstellen dat, als deze modellen in handen komen van iemand die wél kwaad wil, dat die dan best veel schade kan aanrichten.”

Rondom het incident bij OpenAI klonk bij experts ook veel scepsis over de framing van het techbedrijf, en mediaverslaggeving erover. Blunders worden door de sector soms omgebogen tot marketing, over hoe angstaanjagend krachtig de nieuwste modellen wel niet zijn. Het ‘vermenselijken’ van de modellen is bovendien een manier om verantwoordelijkheid af te schuiven op de techniek, in plaats van op de bedrijven erachter: alsof Claude uit een soort eigen wil heeft gehandeld, en niet door zijn maker daartoe aangezet. Anthropic blijft van dat soort framing nu weg.

Lees ook

Enge verhalen over ‘mensachtige’ AI die uit de testomgeving ‘ontsnapt’, passen in de pr-strategie van de makers. Is er ook reden om bang te zijn?

De incidenten roepen de vraag op hoe de bedrijven beter verantwoordelijk gehouden kunnen worden voor de schade die hun AI veroorzaakt. Wat als een mens dit had gedaan? „Die zou ontslagen worden”, zegt Breedijk. „Niemand zou dat gek vinden, want wij snappen allemaal waar de grenzen liggen. We hebben allemaal een opvoeding gehad en zijn jarenlang blootgesteld aan verhalen over moraliteit. AI-modellen snappen dat niet.”

Op dit vlak is nog veel in beweging. In Europa bestaat sinds vorig jaar bijvoorbeeld een meldplicht voor AI-bedrijven van „ernstige incidenten”, hoewel daar pas vanaf volgende week op zal worden gehandhaafd. Er zou ook meer werk gemaakt kunnen worden van wettelijke aansprakelijkheid voor testschade, of een meldplicht bij onafhankelijke toezichthouders.

AI-veiligheidsonderzoeker Bakker pleit daarnaast voor meer externe en onafhankelijke audits en evaluaties bij incidenten als die bij OpenAI en Anthropic. „Dan zou het ook helpen als ze meer informatie vrijgeven over wat er is gebeurd, zodat we kunnen zien of ze echt hun best hebben gedaan om deze incidenten te voorkomen.” Andere onderzoekers suggereren dat AI-bedrijven aansprakelijk moeten worden gesteld als ze tijdens capaciteitstests veiligheidsfilters uitschakelen, vergelijkbaar met normen die in de luchtvaart en de kernenergiesector allang gelden.

Maar sommige experts zijn bang dat er eerst een ‘Three Mile Island-moment‘ nodig zal zijn om beleidsmakers in beweging te krijgen, naar een groot veiligheidsincident bij een nucleaire reactor in de VS in 1979. Dat incident leidde uiteindelijk tot betere regulering van de technologie – maar wel pas na een gedeeltelijke meltdown van een kernreactor.