Hoelang stuit de AI-race nog op de geheugenmuur?

Vier jaar na de succesvolle introductie van ChatGPT staan investeerders nog altijd te popelen om te investeren in nieuwe AI-infrastructuur. Afgelopen week presenteerde chipontwerper Nvidia een plan om met zes vermogensbeheerders 500 miljard dollar aan kapitaal voor extra datacenters vrij te maken.

De AI-wereld rekent erop dat kunstmatige intelligentie de motor van de economie wordt, maar ondanks de hype komt de motor langzaam op gang. Al zijn AI-modellen slimmer dan ooit, om ze massaal te gaan gebruiken zijn meer en snellere geheugenchips nodig. Zolang die speciale halfgeleiders schaars zijn en ze te weinig bandbreedte bieden, stuit de AI-revolutie op de ‘geheugenmuur’. Hoe valt deze memory crunch op te lossen?

1Wat merk je er zelf van?

De geheugenmuur is voelbaar. Vergelijk het met een telefoon op een popfestival, waar slechts beperkte bandbreedte beschikbaar is en de webpagina’s traag laden. Op drukke momenten duurt het lang voordat een AI-model reageert, of verschijnt het antwoord van de chatbot bijna letter voor letter in beeld.

Bij het trainen van nieuwe AI-modellen is de geheugenmuur minder bepalend; bij het dagelijks gebruik van zulke modellen zit de beperkte geheugenbandbreedte al snel in de weg. Als zulke vertragingen zich vaak voordoen, is het moeilijk om bruikbare AI-diensten te ontwikkelen. Ze struikelen dan over hun eigen succes.

2Waarom heeft AI zoveel geheugen nodig?

De bandbreedte van geheugenchips kan de verwerkingssnelheid van de supersnelle rekenchips, zoals die van Nvidia, niet bijbenen. Dat is op zich geen nieuw probleem – processors zijn altijd sneller dan geheugenchips – maar het is goed merkbaar bij generatieve AI-toepassingen zoals ChatGPT, omdat die grote hoeveelheden data heen en weer pompen. Voordat ‘Chat’ antwoord geeft, verwerkt de processor je vraag en de voorafgaande conversatie. Daarbij vist hij telkens de ‘gewichten’ – de kennis van het AI-model, vastgelegd in een enorme verzameling getallen – uit het geheugen.

3Wie maakt die geheugenchips?

AI-chips hebben werkgeheugen dat uit stapeltjes DRAM-chips (dynamic random-access memory) bestaat, gekoppeld aan de rekenchip via een extra ‘brede’ dataverbinding. Alles zit in één en dezelfde chipverpakking, want hoe kleiner de afstand, hoe sneller de data kan reizen.

De vakterm is: high bandwidth memory of HBM. De drie grootste leveranciers van deze chips zijn het Zuid-Koreaanse SK Hynix en Samsung en het Amerikaanse Micron. Deze bedrijven profiteren van de AI-hausse: ze vragen de hoofdprijs voor de lucratieve HBM-chips. De chipmakers investeren daarom minder in de productie van ‘gewone’ geheugenchips. Daardoor wordt DRAM schaars en duur, en dat merk je in de elektronicawinkel. Deze week gooide Microsoft de prijzen van de Xbox omhoog, Apple verhoogde eerder deze zomer al de prijzen van laptops en iPads.

Om de schaarste te omzeilen, stoppen pc-fabrikanten HP, Asus en Acer volgens Nikkei Asia nu ook geheugenchips van het Chinese CXMT in sommige van hun laptops. Het gaat om notebooks die niet voor de VS bestemd zijn – volgens de Amerikaanse overheid is CXMT gelinkt aan het Chinese leger – iets wat het bedrijf ontkent. Ook Apple overweegt Chinese geheugenchips te gebruiken, meldde de Wall Street Journal, maar dat ligt zeer gevoelig in het Witte Huis.

4Wat zijn de uitbreidingsplannen?

De geheugenchipmakers breiden hun bestaande productielijnen uit en bouwen nieuwe fabrieken. Samsung en SK hynix steken met de Zuid-Koreaanse overheid omgerekend 490 miljard euro in de bouw van nieuwe chipfabrieken in het zuidwesten van het land. Micron wil de komende tien jaar 250 miljard dollar investeren om de productie van geheugenchips in de VS uit te breiden.

Dat merken de Nederlandse chipmachinemakers. 40 procent van ASML’s omzet kwam in de eerste helft van dit jaar uit Zuid-Korea, het land dat de productie van geheugenchips domineert. Besi maakt machines die chiponderdelen, zoals de laagjes in HBM-geheugen, op een geavanceerde manier kunnen stapelen. Het bedrijf ziet de omzet van die apparaten snel stijgen. ASM International meldde eind juli ook dat het profiteert van de groeiende vraag naar high bandwidth memory.

5Hoe kun je de geheugenmuur slechten?

De memory crunch is een combinatie van schaarste en technische beperkingen van de bestaande geheugenchips. Maar daar wordt aan gewerkt: nieuwe generaties HBM stapelen meer DRAM-lagen op elkaar, verhogen de bandbreedte per verbinding en plaatsen meer geheugenstapels rondom één AI-chip. Samsung overweegt om HBM-geheugen niet naast, maar boven op de rekenchip te zetten. Nog dichterbij, dus nog sneller.

AI-chips kunnen ook berekeningen uitvoeren met geheugencellen op de rekenchip zelf (SRAM). Daarin passen minder gegevens, maar ze werken supersnel. De beloftevolle Nederlandse chipontwerper Axelera maakt veel gebruik van SRAM, net als het Amerikaanse Cerebras.

AI-modellen evolueren ook: als ze kleiner en compacter zijn, werken ze efficiënter. Bij grotere modellen loont het om data slimmer te verdelen en ook gebruik te maken van het tragere maar goedkopere opslaggeheugen (NAND). Wetenschappers sleutelen daarnaast aan slimmere geheugenchips die zelf ook gegevens verwerken. Blueshift Memory, een start-up uit het VK, ontwikkelt ondertussen een nieuwe methode om data op te slaan en te versturen. Het doel is hetzelfde: beperk de energie en tijd die nodig is om gegevens tussen geheugen en rekenkernen heen en weer te sturen.

6Is het probleem dan opgelost?

Niet echt. Er zijn meer knelpunten die de gehoopte AI-expansie temperen. TSMC, het Taiwanese bedrijf dat marktleider is in de productie en het verpakken van de meest geavanceerde AI-rekenchips, zit volgeboekt. Nvidia en vrijwel al zijn concurrenten zijn van TSMC afhankelijk. Om die reden wil Elon Musk zijn eigen chipfabrieken bouwen en zo de AI-infrastructuur van SpaceX uitbreiden.

Er is niet alleen behoefte aan de zogeheten ‘AI-versnellers’, zoals Nvidia die levert. Datacenters staan ook te springen om algemene processors (CPU’s) en vermogenschips, die de stroomvoorziening in de grote rekken vol AI-chips regelen. Datacenters zijn grootverbruikers die veel efficiënter met energie moeten leren omgaan. Het helpt om meer gespecialiseerde chips in te zetten en servers aan elkaar te koppelen via energiezuinige fotonische chips, die met licht werken. Nederland hoopt in fotonica ook een belangrijke rol te spelen, met onder meer een nieuwe productielijn voor deze chips.

Vooralsnog blijft AI meer rekenkracht opeisen dan de chipindustrie kan leveren. Dat zorgt voor recordomzetten, maar ook voor een nieuwe innovatiegolf in halfgeleiders. De historische verdubbeling van het aantal transistors elke twee jaar – beter bekend als de Wet van Moore – is niet voldoende om de rekenhonger van datacenters te bevredigen. Vandaar dat chips en chiponderdelen vaker gestapeld worden. De derde dimensie is nodig om meer transistors per vierkante centimeter kwijt te kunnen, en om de onderlinge verbindingen korter, sneller en efficiënter te maken. Zo valt de muur misschien toch te doorbreken.