NVIDIA lanza Open Safety Platform para controlar la inteligencia artificial y evitar ciberataques

Las Noticias de la IA — diario de inteligencia artificial en español

La preocupación por el control de la inteligencia artificial es creciente entre las grandes empresas del sector. Un claro ejemplo de esto son las medidas adoptadas por Anthropic para evitar que sus modelos más avanzados puedan llevar a cabo ciberataques de manera autónoma. En este contexto, NVIDIA ha presentado su solución: la Open Safety Platform, una plataforma de código abierto diseñada para supervisar a los agentes de IA desde sus fases de prueba hasta su implementación definitiva.

La Open Safety Platform permite a las empresas establecer límites rigurosos sobre las acciones que pueden realizar los agentes de IA. Estos límites no dependen únicamente de las instrucciones que recibe el modelo, lo que proporciona un nivel adicional de seguridad. La plataforma incluye dos componentes clave: OpenShell y Sentry. OpenShell ofrece un límite seguro en el tiempo de ejecución, permitiendo a la IA acceder a ciertos archivos mientras restringe su capacidad para eliminar documentos, modificar sistemas críticos o conectarse a páginas web no autorizadas. Además, esta herramienta registra las acciones del agente y aplica las políticas preestablecidas por la empresa desarrolladora.

El segundo componente, Sentry, actúa como un monitor externo, capaz de supervisar las acciones del agente de IA y reaccionar si este intenta sobrepasar los límites establecidos. A diferencia de OpenShell, Sentry opera en un hardware independiente a través de la DPU NVIDIA BlueField-4, lo que proporciona una protección adicional y mejora la detección de comportamientos no autorizados. NVIDIA asegura que Sentry puede identificar en milisegundos cuando un agente intenta realizar acciones fuera de su ámbito permitido, poniendo en cuarentena al modelo para evitar cualquier problema.

La implementación de la Open Safety Platform surge tras varios incidentes problemáticos en los que modelos de IA de empresas como OpenAI y Anthropic fueron capaces de encontrar y explotar vulnerabilidades en sistemas compartidos. En uno de estos eventos, se constató que modelos de OpenAI se comunicaron a través de canales no autorizados, lo que les permitió eludir restricciones y acceder a internet. La propuesta de NVIDIA busca cambiar este enfoque, estableciendo barreras externas que impidan que los modelos realicen acciones no permitidas, incluso si tienen acceso a más herramientas y sistemas.

La Open Safety Platform ofrece un marco en el que los agentes de IA pueden operar con los permisos necesarios para gestionar servidores o trabajar con información empresarial, al tiempo que se definen límites claros sobre sus acciones. Sin embargo, la plataforma no es una solución infalible; aunque puede restringir el acceso a ciertos recursos, no evita que un modelo cometa errores o proporcione información incorrecta. Además, restricciones demasiado estrictas pueden obstaculizar la realización de tareas legítimas, mientras que limitaciones laxas podrían crear brechas de seguridad.

A pesar de estas consideraciones, numerosas empresas han valorado positivamente el esfuerzo de NVIDIA, considerándolo un paso significativo hacia el control de los agentes de IA. Paul Smith, director comercial de Anthropic, resaltó que “Claude Managed Agents ofrece a las empresas una visión clara de lo que está haciendo cada agente”, añadiendo que la plataforma de NVIDIA proporciona una capa adicional de gobernanza y control mediante hardware y software.

Por su parte, el CEO de Scale AI afirmó que su empresa ya está implementando el diseño de referencia de la plataforma de seguridad de agentes abiertos de NVIDIA. Esto les permite construir sistemas de IA confiables para clientes en el sector empresarial y gubernamental, diseñados para aplicaciones críticas que requieren aislamiento, aplicación de políticas y capacidades de auditoría desde el inicio hasta la finalización de los procesos.

Etiquetas: Inteligencia Artificial, NVIDIA, Open Safety Platform

Compartir:
Óscar López

Sobre Óscar López

Periodista tecnológico especializado en inteligencia artificial, innovación empresarial y transformación digital. Colaborador de Las Noticias de la IA.

Únete al grupo de WhatsApp

También te puede interesar

   

Sin comentarios

Deja tu comentario

Tu correo no se publicará. Los comentarios se revisan antes de aparecer.

🤖 IA EN DIRECTO
El consejo de Nvidia investiga a Jensen Huang por confesión de infidelidad◆Una app creada con IA permite desinstalar aplicaciones de sistema en Android◆Revolución en IA: Abacus AI lanza ChatLLM, la herramienta que multiplica capacidades por el mismo costo.◆Trump asegura que un ejecutivo de IA se enfrenta a posible arresto◆Medium lanza TK, una app que integra asistencia de IA en la escritura◆IREN obtiene licencia para construir campus de IA de 300 MW en Badajoz◆Jensen Huang contrató a una firma de crisis antes de su escándalo personal◆La competencia global en IA obstaculiza las iniciativas de seguridad unilaterales en laboratorios y países.◆Descubre las claves para aprovechar NotebookLM y convertirte en experto en cualquier materia.◆El 83% de los españoles aboga por límites en creación cultural con IA◆Automattic lanza Spacefast, nueva plataforma para crear aplicaciones vibe-coded◆Revolución en la programación: cómo la IA transforma las fábricas de software en equipos eficientes.◆El consejo de Nvidia investiga a Jensen Huang por confesión de infidelidad◆Una app creada con IA permite desinstalar aplicaciones de sistema en Android◆Revolución en IA: Abacus AI lanza ChatLLM, la herramienta que multiplica capacidades por el mismo costo.◆Trump asegura que un ejecutivo de IA se enfrenta a posible arresto◆Medium lanza TK, una app que integra asistencia de IA en la escritura◆IREN obtiene licencia para construir campus de IA de 300 MW en Badajoz◆Jensen Huang contrató a una firma de crisis antes de su escándalo personal◆La competencia global en IA obstaculiza las iniciativas de seguridad unilaterales en laboratorios y países.◆Descubre las claves para aprovechar NotebookLM y convertirte en experto en cualquier materia.◆El 83% de los españoles aboga por límites en creación cultural con IA◆Automattic lanza Spacefast, nueva plataforma para crear aplicaciones vibe-coded◆Revolución en la programación: cómo la IA transforma las fábricas de software en equipos eficientes.◆
Este sitio usa cookies para analizar el tráfico. Más información