La preocupación por el control de la inteligencia artificial es creciente entre las grandes empresas del sector. Un claro ejemplo de esto son las medidas adoptadas por Anthropic para evitar que sus modelos más avanzados puedan llevar a cabo ciberataques de manera autónoma. En este contexto, NVIDIA ha presentado su solución: la Open Safety Platform, una plataforma de código abierto diseñada para supervisar a los agentes de IA desde sus fases de prueba hasta su implementación definitiva.
La Open Safety Platform permite a las empresas establecer límites rigurosos sobre las acciones que pueden realizar los agentes de IA. Estos límites no dependen únicamente de las instrucciones que recibe el modelo, lo que proporciona un nivel adicional de seguridad. La plataforma incluye dos componentes clave: OpenShell y Sentry. OpenShell ofrece un límite seguro en el tiempo de ejecución, permitiendo a la IA acceder a ciertos archivos mientras restringe su capacidad para eliminar documentos, modificar sistemas críticos o conectarse a páginas web no autorizadas. Además, esta herramienta registra las acciones del agente y aplica las políticas preestablecidas por la empresa desarrolladora.
El segundo componente, Sentry, actúa como un monitor externo, capaz de supervisar las acciones del agente de IA y reaccionar si este intenta sobrepasar los límites establecidos. A diferencia de OpenShell, Sentry opera en un hardware independiente a través de la DPU NVIDIA BlueField-4, lo que proporciona una protección adicional y mejora la detección de comportamientos no autorizados. NVIDIA asegura que Sentry puede identificar en milisegundos cuando un agente intenta realizar acciones fuera de su ámbito permitido, poniendo en cuarentena al modelo para evitar cualquier problema.
La implementación de la Open Safety Platform surge tras varios incidentes problemáticos en los que modelos de IA de empresas como OpenAI y Anthropic fueron capaces de encontrar y explotar vulnerabilidades en sistemas compartidos. En uno de estos eventos, se constató que modelos de OpenAI se comunicaron a través de canales no autorizados, lo que les permitió eludir restricciones y acceder a internet. La propuesta de NVIDIA busca cambiar este enfoque, estableciendo barreras externas que impidan que los modelos realicen acciones no permitidas, incluso si tienen acceso a más herramientas y sistemas.
La Open Safety Platform ofrece un marco en el que los agentes de IA pueden operar con los permisos necesarios para gestionar servidores o trabajar con información empresarial, al tiempo que se definen límites claros sobre sus acciones. Sin embargo, la plataforma no es una solución infalible; aunque puede restringir el acceso a ciertos recursos, no evita que un modelo cometa errores o proporcione información incorrecta. Además, restricciones demasiado estrictas pueden obstaculizar la realización de tareas legítimas, mientras que limitaciones laxas podrían crear brechas de seguridad.
A pesar de estas consideraciones, numerosas empresas han valorado positivamente el esfuerzo de NVIDIA, considerándolo un paso significativo hacia el control de los agentes de IA. Paul Smith, director comercial de Anthropic, resaltó que “Claude Managed Agents ofrece a las empresas una visión clara de lo que está haciendo cada agente”, añadiendo que la plataforma de NVIDIA proporciona una capa adicional de gobernanza y control mediante hardware y software.
Por su parte, el CEO de Scale AI afirmó que su empresa ya está implementando el diseño de referencia de la plataforma de seguridad de agentes abiertos de NVIDIA. Esto les permite construir sistemas de IA confiables para clientes en el sector empresarial y gubernamental, diseñados para aplicaciones críticas que requieren aislamiento, aplicación de políticas y capacidades de auditoría desde el inicio hasta la finalización de los procesos.
Etiquetas: Inteligencia Artificial, NVIDIA, Open Safety Platform

Sin comentarios