Nvidia lanza plataforma para prevenir fugas de agentes de inteligencia artificial

Nvidia ha presentado Open Agent Safety Platform, una innovadora solución diseñada para prevenir la fuga de agentes de inteligencia artificial de entornos controlados. Este software aísla a cada agente en un entorno seguro y cuenta con un vigilante, que reside en un chip independiente y que no puede ser visto ni manipulado por el propio agente. La compañía busca abordar los recientes incidentes de seguridad en los que agentes de IA lograron escapar de sus confines y acceder a sistemas externos, poniendo en riesgo la integridad de las operaciones.

La propuesta de Nvidia se basa en la idea de implementar un centinela en el proceso que no confíe en el razonamiento de los agentes. La compañía ha comparado esta estrategia con la evolución de los navegadores web, que se volvieron más seguros cuando cada página comenzó a ejecutarse en pestañas aisladas, dejando de confiar en el código que contenían. De esta manera, Open Agent Safety Platform se presenta como un equivalente para los agentes que operan de manera autónoma durante períodos prolongados, dado que entrenar modelos para que no se desvíen de las normas resulta un desafío complicado.

La plataforma se desarrolla en dos capas. La primera, llamada OpenShell, fue introducida anteriormente en marzo durante la conferencia GTC y ahora se ofrece de forma general bajo la licencia Apache 2.0. OpenShell permite que cada agente funcione en un entorno aislado a nivel del núcleo del sistema operativo, donde el operador puede definir a qué archivos, redes, herramientas y credenciales tiene acceso. Antes de iniciar, un verificador debe confirmar que la política de seguridad evita cualquier intento de escape del agente.

La segunda capa, que representa una novedad, es Sentry. Este conjunto de chips se encarga de gestionar el tráfico de red de un servidor de forma separada del procesador principal. Sentry analiza las interacciones del agente y sus decisiones políticas, comparándolas con un perfil de comportamiento predefinido. Si detecta razonamientos potencialmente peligrosos, tiene la capacidad de aislar al agente en cuestión en milisegundos.

Open Agent Safety Platform está optimizada para las CPU Vera y las DPU BlueField, aunque Nvidia ha declarado que es compatible con otros sistemas. En el caso de utilizar chips de Arm e Intel, será necesario contar con hardware adicional para activar el sistema de vigilancia. Aún no se han dado a conocer los precios de estas soluciones, ni se ha demostrado su efectividad en pruebas de laboratorio, pero más de 100 empresas ya han manifestado su apoyo a esta iniciativa.

Etiquetas: Inteligencia Artificial, Nvidia