Cisco en Nvidia verlagen drempel voor veilige, full-stack AI-infrastructuur

Cisco en Nvidia kondigen vandaag een grote uitbreiding en verdieping aan van Cisco Secure AI Factory with NVIDIA. Het doel is om een volledige, goed geïntegreerde en ook veilige AI-stack aan klanten te kunnen bieden. Dit moet ervoor zorgen dat die klanten eenvoudiger op de AI-trein kunnen stappen.

Vorig jaar tijdens Nvidia GTC kondigde Cisco de Cisco Secure AI Factory with NVIDIA aan. In de twaalf maanden daarna volgden er nog enkele uitbreidingen, waaronder de introductie van N9100-switches met Spectrum-X Ethernet chips van Nvidia erin. Vandaag komt de eerste echt grote update van deze AI-stack. We spraken er kort voor de aankondiging over met Kevin Wollenweber, SVP & GM Data Center en Internet Infrastructure bij Cisco.

De weg richting full-stack

Als je enkele van de aankondigingen van Cisco van de afgelopen anderhalf jaar erbij pakt, is het duidelijk waar het bedrijf naartoe werkt als het gaat om (AI-)infrastructuur. Het draait allemaal om full-stack. Het aanbieden van een zo compleet mogelijke stack aan klanten. Die kunnen dan snel en goed aan de slag met datgene wat ze willen doen. Uiteraard zorgt het er ook voor dat Cisco mooie deals kan sluiten, maar dat is logisch.

Voorbeelden van bovenstaande ontwikkelingen zijn er voldoende. Denk onder andere aan het Unified Edge– en Unified Branch-aanbod. Vanuit het perspectief van AI kun je de aankondiging van de AI POD’s als startpunt zien van de full-stack benadering van Cisco. Deze zijn gebouwd volgens de principes van de Cisco Validated Designs, waarbij er als het goed is extra nadruk ligt op de optimale samenwerking van de componenten die samen de stack vormen. AI POD maakt gebruik van Nvidia AI Enterprise-software.

Van AI POD naar Cisco Secure AI Factory with Nvidia

AI POD was echter nog zeker niet het einde van de bouw van een full-stack AI-aanbod en de rol die Nvidia speelt hierin. Je kunt AI POD namelijk zien als basis voor de eerste generatie Cisco Secure AI Factory with NVIDIA. Daarin was de samenwerking tussen Cisco en Nvidia alweer een stuk hechter, maar het is wat ons betreft duidelijk dat dit een volgende stap was in het traject dat Cisco uitgestippeld had.

Opvallend bij de lancering van de Secure AI Factory with NVIDIA vorig jaar was verder dat Cisco specifiek op security inzette als onderscheidende factor. Alle andere ’traditionele’ infrastructuurspelers hadden en hebben immers ook samenwerkingen met Nvidia om gezamenlijk hardware en software bij klanten te krijgen. Dus Cisco wilde duidelijk maken dat de stack die het samen met Nvidia bouwde niet is zoals de rest. Onder andere AI Defense is een belangrijk speerpunt in het eigen securityverhaal rondom AI. De Cisco Secure AI Factory with NVIDIA was hiermee definitief geboren.

Inferencing vraagt om uitbreiding naar de edge

De eerste generatie van de Cisco Secure AI Factory with NVIDIA richtte zich uitsluitend op de core van de infrastructuur. Dat wil zeggen, op de grote datacenters van organisaties. Met de (verwachte) opkomst van inferencing, was er echter een uitbreiding nodig, horen we van Wollenweber. Niet zozeer op het gebied van prestaties, maar wel op het gebied van waar het aanbod beschikbaar is. “We moesten de stack die we aan het bouwen waren nog beter maken”, horen we van hem. Vandaar dat de Cisco Secure AI Factory with NVIDIA niet langer alleen de core datacenters bestrijkt, maar ook de edge meeneemt.

Om ook relevant te zijn voor edge-omgevingen, heeft Cisco ondersteuning toegevoegd aan Cisco Secure AI Factory with NVIDIA voor Nvidia’s RTX Pro 4500 Blackwell Server Edition GPU’s. Dat houdt in dat Cisco UCS en het Unified Edge-portfolio deze GPU’s gaan ondersteunen.

Als we het hebben over de edge, ontkomen we ook niet aan de edge van de service provider. Daar komen onherroepelijk ook mobiele verbindingen om de hoek kijken. Of, om het in de woorden van Wollenweber te vatten: “Telco’s zijn de eigenaar van de last mile.”

Om de full-stack benadering ook daarheen uit te breiden, komt het bedrijf met Cisco AI Grid with NVIDIA. Dit is een referentie-design waarin Cisco het Mobility Services Platform combineert met Nvidia RTX Pro Blackwell Series GPU’s. Telco’s kunnen dankzij deze toevoeging via hun eigen netwerken dienstverlening aanbieden voor AI-applicaties die aan de edge draaien, is het idee. Zo haalt Cisco ook dat gedeelte van de gedistribueerde AI-infrastructuur binnen het Secure AI Factory-aanbod.

Meer keuze in hardware

De Cisco Secure AI Factory with NVIDIA mag dan een full-stack aanbod zijn, dit betekent niet dat iedere organisatie dezelfde hardware hoeft te kiezen. Zo was er al de N9100 switch van Cisco met onder de motorkap een Nvidia Spectrum-4 Ethernet chip. Daar komt zodra Nvidia hem levert ook ondersteuning bij voor de Spectrum-6 Ethernet chip. Die kan net zoals de recent door Cisco aangekondigde Silicon One G300-chip 102,4 Tbps verwerken.

Deze switches zullen ook ondersteund worden binnen Cisco Nexus One en Cisco Nexus Hyperfabric, dat inmiddels ook onderdeel is van Nexus One. Hyperfabric is de volledige AI-stack die Cisco enkele jaren geleden ontwikkelde samen met Nvidia, maar ook met onder andere VAST Data (dat het dataplatform levert voor dit product). Binnen Nexus Hyperfabric komen nu dus ook de Nvidia Spectrum-X-gebaseerde switches beschikbaar.

Het feit dat Nexus One nu de hele AI-infrastructuur kan beheren is iets waar Wollenweber graag nog even bij stilstaat. “Er draaien ook agents op Nvidia DPU’s, over de hele computelaag heen en in de AI NIC’s zelf”, geeft hij aan. Op deze manier is de AI-stack niet zomaar een verzameling van SKU’s op een GPL (Global Price List) van Cisco, waar naast Nvidia-hardware ook onder andere AI-software van Red Hat en het dataplatform van VAST Data opstaan, maar is er ook sprake van daadwerkelijke diepere integratie tussen de verschillende onderdelen.

De kunst voor Cisco is om klanten aan de ene kant een redelijk gesloten volledige stack aan te kunnen bieden, maar aan de andere kant ook keuzes. In dit geval kunnen klanten ervoor kiezen om een AI Factory af te nemen die volledig compliant is met het Nvidia Cloud Partner (NCP)-programma. Aan de andere kant kunnen ze ook voor een Silicon One-gebaseerde variant gaan die volgens dezelfde design-principes is gebouwd.

De Cisco Secure AI Factory with NVIDIA heeft niet voor niets het woordje ‘secure’ in de titel staan. Het is er ongetwijfeld ook gezet omdat de marketing-afdeling het vroeg, maar er zit gelukkig wel iets meer achter dan alleen dat.

Volgens Wollenweber is het niet zo vreemd dat AI veel vragen oproept rondom security. Met name als het gaat om AI Agents “worden agentic identiteit, policies en security steeds belangrijker. Als je agents hebt die taken uitvoeren namens jou, dan gebruiken ze jouw inloggegevens en identiteit.” Als je daar even bij stilstaat, is het zeer wenselijk om dit goed te beveiligen, wil hij maar zeggen.

Zoals al aangegeven heeft Cisco de laatste jaren sterk ingezet op het beveiligen van AI. AI Defense is wat dat betreft een zeer belangrijke aankondiging geweest. Dat krijgt nu specifiek voor AI Agents een integratie met Nvidia NeMo Guardrails, een onderdeel van de al eerder aangehaalde Nvidia AI Enterprise-software. Hiermee moet het mogelijk worden om agents die hun werk doen aan de edge op een veilige manier te laten communiceren met agents die in de core van de AI-infrastructuur (in het datacenter) opereren.

Tot slot breidt Cisco het werkgebied van de Hybrid Mesh Firewall ook nog uit binnen de Cisco Secure AI Factory with NVIDIA. Specifiek gaat het om een uitbreiding richting BlueField DPU’s van Nvidia. Die zitten in GPU-servers van het bedrijf en dus ook in de fabrics die door Cisco Nexus One worden beheerd. Met deze integratie is het mogelijk om specifieke policies te handhaven vanuit de Hybrid Mesh Firewall op de DPU’s. “We breiden de mogelijkheden dus uit richting de Nvidia stack”, vat Wollenweber samen. Dat is zonder meer belangrijk, want zo creëert Cisco een securitylaag die een steeds groter deel van de AI-stack rechtstreeks afdekt.

Meer integratie, meer security, meer eenvoud

Het doel van Cisco met de Secure AI Factory with NVIDIA is duidelijk. Het wil met een full-stack benadering klanten binnenhalen die AI-workloads willen draaien maar verder geen tot weinig omkijken willen hebben naar de onderliggende infrastructuur. Door hier nog een extra securitylaag overheen te leggen, wil het klanten ook op dit punt nog extra overtuigen van de voordelen van het aanbod.

Het draait uiteindelijk om integratie tussen de afzonderlijke componenten van de stack en de verschillende locaties waar training en inferencing plaatsvinden. Een goed geïntegreerde stack is in theorie in ieder geval eenvoudiger te beveiligen, omdat je centraal SecOps kunt doen. Dat is zonder meer een voordeel. Daarnaast moet het voor klanten ook een stuk eenvoudiger zijn om ermee aan de slag te gaan. De infrastructuur zelf hoeft het in ieder geval niet meer zelf in elkaar te schroeven. Die is volgens een gevalideerd design gebouwd, dus die zou het altijd moeten doen.

Of al dit moois ook al meteen gaat leiden tot brede adoptie van de Cisco Secure AI Factory with NVIDIA is uiteraard nog maar de vraag. Dit zijn tot op zekere hoogte initiatieven die voorlopen op waar de markt is. Zeker de uitbreiding richting de edge en dus richting inferencing kan voor behoorlijk wat organisaties nog wat te vroeg komen.

Krijgen we ook meer adoptie?

Wollenweber geeft in gesprek met ons aan dat het soms koffiedik kijken is als het gaat om adoptie van AI-infrastructuur. “We dachten dat enterprise-organisaties veel meer GPU-gebaseerde compute voor inferencing af zou gaan nemen, maar zagen niet de adoptie die we hadden verwacht”, kijkt hij terug naar de laatste jaren. Veel ging via neoclouds en cloudaanbieders, niet zozeer via eigen infrastructuur.

Bovenstaande kan best zo zijn gegaan omdat AI-infrastructuurspelers zoals Cisco hun zaakjes nog niet goed genoeg op orde hadden. Met andere woorden, het was allemaal nog te ingewikkeld voor organisaties om het zelf allemaal te doen. Het kan ook zijn dat de workloads er simpelweg nog niet waren.

Soevereiniteit zou de AI-infrastructuur zoals Cisco en Nvidia die voor ogen hebben met Cisco Secure AI Factory with NVIDIA best wel eens een zetje kunnen geven, mits de use-cases en workloads er zijn uiteraard. “Er is een sterke push om grote soevereine datacenters te bouwen”, ziet Wollenweber. “Daar is dit [de Cisco Secure AI Factory with NVIDIA, red.] een goede optie voor”, vervolgt hij. Daarbij helpt het dat Cisco een sterke ommezwaai gemaakt heeft in de laatste jaren. Het heeft de on-prem stack voor een groot gedeelte opnieuw gebouwd volgens hem. Ook op het gebied van beheer kunnen klanten kiezen tussen cloud en on-prem.

Of er nu wel meer adoptie komt voor met name inferencing, mag dan nog afwachten zijn. Met de Secure AI Factory with NVIDIA heeft Cisco in ieder geval een stack beschikbaar die klanten kunnen overwegen.