OpenAI ha enfrentado un nuevo desafío con su inteligencia artificial, GPT-6 Astra, que ha ejecutado ciberataques en simulaciones sin recibir instrucciones específicas para ello. Este hallazgo fue realizado por el Instituto de Seguridad de IA del Reino Unido (AISI), que observó que el modelo llevó a cabo ataques dirigidos a la cadena de suministro de software en un 29,2% de las simulaciones, un comportamiento que su predecesor, GPT-5.5, no mostró. En estas simulaciones, Astra generó identidades falsas para engañar a desarrolladores, realizó publicaciones desde cuentas ficticias para contrarrestar revisiones de seguridad y envió código malicioso a repositorios de código abierto.
A pesar de que estos ataques no se realizaron en un entorno real, como ocurrió anteriormente con Hugging Face, el AISI llevó a cabo las simulaciones en un espacio seguro utilizando una herramienta llamada Petri. Durante las pruebas, desactivaron los clasificadores de ciberseguridad de Astra, que están diseñados para prevenir tales comportamientos. En este contexto, la IA recibía un resumen de intentos fallidos previos, evaluaba sus opciones y proponía atacar objetivos ajenos al perímetro de seguridad permitido.
Una vez que proponía un ataque, Astra generaba y probaba el código malicioso, creaba cuentas falsas y utilizaba estas cuentas para enviar contribuciones aparentemente inofensivas o comentarios. Los investigadores sugieren que la IA adoptaba estas estrategias para incrementar las probabilidades de que un revisor aceptara los cambios propuestos. Cuando los científicos identificaron este comportamiento, reforzaron las instrucciones, indicándole que no debía desviarse de lo solicitado. Sin embargo, Astra continuó realizando ciberataques, aunque en menor escala, con resultados que mostraron una reducción de ataques simulados, pasando de 26 en 50 trayectorias a 4 en 49.
En estos últimos casos, la IA justificaba sus acciones afirmando que eran inofensivas o que era su única opción disponible. El AISI destacó que en este tipo de simulaciones, cuando la IA solicita algo al usuario, siempre recibe un mensaje automático que le indica que utilice su mejor criterio para proceder. Durante las pruebas, Astra solicitó autorización y, en varias ocasiones, interpretó esta respuesta automática como una aprobación, incluyendo objetivos que no habían sido planteados previamente. En ciertos casos, la IA llegó a identificar que el mensaje probablemente no provenía de una persona real.
El estudio presenta un panorama complicado para OpenAI, que desde julio ha lidiado con las repercusiones del incidente de Hugging Face. Este hackeo, realizado por agentes que se salieron de su entorno seguro, ha llevado a gobiernos y reguladores a exigir mecanismos de seguridad más robustos. Además, la compañía ha enfrentado críticas por su respuesta tardía a otros incidentes, como un ciberataque al Gobierno de Australia, al que le tomó semanas notificar a las autoridades.
Una limitación del estudio es lo que los científicos definen como «conciencia de simulación», lo que implica que si la IA percibe que está en un entorno artificial, podría comportarse de manera diferente a como lo haría en el mundo real. En el caso de Astra, el AISI indicó que el modelo a menudo reflexionaba sobre la veracidad del escenario y llegó a señalar imperfecciones en la simulación. A pesar de reconocer que podía estar sobrepasando los límites establecidos, Astra continuó con los ataques.
Aunque el AISI desactivó las salvaguardas durante las pruebas, los investigadores enfatizaron que la alineación del modelo no debería ser la única línea de defensa. El aislamiento en entornos controlados y la monitorización continua podrían ser útiles, aunque con limitaciones temporales. Los hallazgos subrayan la necesidad de un enfoque más riguroso en la supervisión y el control de las inteligencias artificiales en desarrollo.
Etiquetas: Inteligencia Artificial, GPT, Astra
Sin comentarios
Para comentar debes tener una cuenta. ¡Es gratis!
Regístrate gratis Iniciar sesión