Nvidia heeft het Open Agent Safety Platform onthuld, een systeem dat moet voorkomen dat AI-agents uitbreken uit hun afgeschermde omgeving. De AI-chipmaker reageert daarmee op de recente zorgen over hacks door AI-agents, zoals de veelbesproken inbraak door AI-systemen van OpenAI bij het AI-platform Hugging Face. Verder pauzeert OpenAI de ontwikkeling van zijn krachtigste modellen en vragen toponderzoekers om overheidsbemoeienis bij AI die zichzelf doorontwikkelt. Joe van Burik vertelt erover in deze Tech Update.

AI-agents zijn AI-systemen die zelfstandig taken uitvoeren. Het platform werkt als een kooi: binnen de grenzen kunnen agents hun werk doen, maar uitbreken moet onmogelijk worden. Dat gebeurt met twee stukken software. OpenShell, dat Nvidia in maart al toonde, bepaalt waar een AI-agent wel en niet bij mag en is open source. Het nieuwe Sentry houdt het gedrag van agents in de gaten en kan ingrijpen zodra een agent buiten zijn grenzen probeert te treden. Beide draaien op hardware van Nvidia.

Onduidelijk welke AI-bedrijven het platform inzetten

Of het platform ook echt gebruikt gaat worden bij de ontwikkeling van de krachtigste AI-modellen, laat Nvidia in het midden. Het bedrijf zegt niet of de Amerikaanse koplopers OpenAI en Anthropic ermee aan de slag gaan; dat moeten die bedrijven volgens Nvidia zelf bekendmaken. Nvidia ontwikkelde het platform wel samen met Microsoft, Cisco, Oracle, Intel en Arm. Topman Jensen Huang heeft eerder gezegd dat de ontwikkeling van AI wat hem betreft niet hoeft te worden afgeremd. Het platform moet daarbij helpen als een soort vangrail, zodat de ontwikkeling op volle snelheid kan doorgaan. Ook is Nvidia bezig met de overname van Hugging Face, het platform waarop ontwikkelaars open AI-modellen delen.

OpenAI pauzeert ontwikkeling van krachtigste modellen

Los van het nieuwe platform heeft OpenAI de ontwikkeling van zijn krachtigste AI-modellen gepauzeerd. Het bedrijf, waarvan AI-systemen eerder bij Hugging Face binnendrongen, maakte dat afgelopen weekend bekend. Anthropic heeft zo'n stap nog niet aangekondigd, ook niet na een diner van topman Dario Amodei met de Amerikaanse president Donald Trump op zondagavond. Tegelijkertijd bericht The Wall Street Journal over nieuwe zorgen uit de AI-sector zelf. Toponderzoekers van onder meer OpenAI, Anthropic, Meta en Microsoft vragen daarin om overheidsbemoeienis bij hun onderzoek. Het gaat specifiek om AI die zichzelf kan doorontwikkelen. Daarbij bouwt een AI-systeem zelfstandig aan een krachtigere opvolger.

• Nvidia presenteert het Open Agent Safety Platform met OpenShell en Sentry
• Nvidia wil met nieuw platform uitbraken van AI-agents voorkomen
• Hoe OpenShell en Sentry samen AI-agents afschermen en bewaken
• Nvidia koopt AI-platform Hugging Face voor bijna 13 miljard dollar
• OpenAI legt werk aan krachtigste AI-modellen stil na nieuw incident

Over de maker:
Joe van Burik volgt en duidt de belangrijkste ontwikkelingen in tech, met scherpte, vlotheid en de nodige humor. Je hoort hem dagelijks op BNR Nieuwsradio over het belangrijkste technieuws, van AI tot cybersecurity en social media tot quantumcomputers. Ook interviewt hij in De Grote Tech Show samen met Ben van der Burg leiders in digitale innovatie. In het bijzonder volgt Joe al twee decennia de wereld van videogames, nu voor zijn podcast All in the Game.