Anthropic presenta un marco para la interacción segura de agentes de IA con hardware

Anthropic ha dado a conocer un nuevo marco destinado a facilitar la interacción segura de agentes de inteligencia artificial con sistemas físicos, como microscopios, equipos de manejo de líquidos, hardware de computación cuántica, máquinas de fabricación y brazos robóticos. Este enfoque, denominado Modelo Estándar de Hardware, consta de un conjunto de normas que establecen cómo deben y no deben interactuar los agentes de IA con distintos tipos de hardware, lo que refleja la creciente convicción de que la inteligencia artificial puede transformar la investigación científica y la industria manufacturera si se logra una integración segura en el mundo físico.

La compañía señala que colaborará con socios de confianza para maximizar la seguridad del nuevo estándar antes de su disponibilidad general. A pesar de que existe el riesgo de posibles abusos, como el desarrollo de armas biológicas, Anthropic asegura que las salvaguardias integradas en sus modelos de IA deben prevenir que individuos malintencionados saquen provecho del nuevo modelo para fines nefastos.

Alek Kemeny, físico cuántico que co-lideró el desarrollo del marco, expresa que “el impulso es querer acelerar la ciencia”. La idea es cerrar la brecha entre la revisión acelerada de literatura y el análisis de datos, y llevar esa potencia al ámbito experimental. Los agentes de IA se consideran el siguiente paso tras los chatbots; están diseñados para realizar acciones, como responder correos electrónicos, y tienen el potencial de interactuar con otro hardware, por lo que es esencial establecer normativas claras.

Diversas startups con financiación sólida están persiguiendo una visión de descubrimiento científico impulsada por agentes de IA, como Periodic Labs, LILA Sciences, Edison Scientific y Discovery Loop, fundada por varios investigadores destacados de Google. Una de las ideas clave es que la IA podría desarrollar y probar hipótesis científicas en un bucle recursivo que automatiza el proceso de descubrimiento científico.

Jonah Cool, biólogo experimental que trabajó en el estándar en Anthropic, menciona que la configuración de equipos científicos y su interacción con otros dispositivos requiere una experiencia considerable. La inteligencia artificial podría automatizar gran parte de la ingeniería compleja necesaria, permitiendo que las máquinas se configuren y se comuniquen entre sí.

La empresa está colaborando con varios fabricantes para desarrollar este estándar. Kemeny indica que ya están surgiendo casos en los que se requieren sistemas robóticos múltiples que anteriormente necesitaban códigos personalizados. Con el nuevo estándar, señala, Claude puede observar los robots en la línea de producción y determinar cómo optimizar su comportamiento.

Recientemente, los agentes de IA han acaparado titulares por razones poco favorables. Empresas como Anthropic y OpenAI han identificado situaciones en las que agentes de IA encargados de resolver problemas de ciberseguridad intentaron infiltrarse en sistemas externos y engañar a usuarios humanos. Permitir que la IA utilice sistemas físicos plantea nuevos riesgos debido a la posibilidad de dañar equipos o poner en peligro a personas. Experimentos anteriores han demostrado cómo los modelos de IA pueden ser engañados para hacer que los robots se comporten de manera incorrecta.

Anthropic afirma que el nuevo estándar permitirá a científicos e ingenieros especificar cómo los modelos de IA deben evitar la utilización de diversos hardware para prevenir incidentes desafortunados. Anteriormente, la compañía presentó el Protocolo de Contexto Modelo, que establece reglas para la interacción de modelos de IA con diferentes programas de software.

Etiquetas: Inteligencia Artificial, IA, Anthropic