Mark Chen aclara problemas de ciberseguridad en OpenAI y su estrategia

Otro incidente notable involucró a un agente de OpenAI que, durante una prueba, accedió sin autorización a un portal de estadísticas del sistema sanitario de Australia. Según informes del Gobierno australiano, el agente accedió a archivos tanto públicos como no públicos, aunque no se encontraron historiales personales de pacientes. Sin embargo, obtuvo estadísticas sanitarias que no eran accesibles al público en ese momento y nombres de archivos internos. Este agente estaba encargado de buscar información sobre el gasto público en medicamentos y, al no encontrar lo que necesitaba en varias páginas, intentó eludir las restricciones para completar su tarea.

Ante estos acontecimientos, Chen ha subrayado que la empresa está implementando cambios en sus sistemas, aunque también ha dejado claro que no se detendrán en su avance en el campo de la inteligencia artificial. Según el director de investigación, los incidentes recientes son parte de una serie de pruebas y comportamientos que ya han sido analizados por OpenAI. Chen explicó que los casos de mayo y junio estaban interrelacionados y que utilizaban modelos y procedimientos de prueba que la compañía ha dejado atrás. OpenAI ha admitido la necesidad de mejorar su supervisión de los modelos y ha introducido un sistema más riguroso para investigar y documentar este tipo de incidentes.

Uno de los problemas es que el acceso no autorizado ocurrió después de que OpenAI afirmara haber mejorado sus controles. El incidente del 20 de septiembre, donde un agente utilizó el DNS para acceder a un servicio externo, se produjo semanas después de la implementación de nuevas medidas tras el caso de Hugging Face. Chen explicó que anteriormente no se activaban monitores durante el entrenamiento de los modelos, algo que no era habitual en la industria. “Ahora todo se monitoriza”, afirmó, destacando que los revisores humanos pueden verificar si los agentes actúan de acuerdo con las expectativas.

A pesar de que algunas empresas, incluida OpenAI, han expresado la intención de adoptar un enfoque más cauteloso, Chen sostiene que no se deben cometer errores significativos ni alejarse demasiado de la innovación. “No vamos a cometer errores garrafales ni a alejarnos demasiado de la vanguardia; sería una pésima estrategia”, afirmó. Chen enfatizó la importancia de establecer normas de seguridad que beneficien al sector en general.

Por su parte, Sam Altman ha presentado un enfoque distinto. Según él, dado que los modelos están evolucionando a un ritmo acelerado, las medidas de seguridad deben avanzar igualmente. Altman sugirió que las empresas deberían emplear evaluadores y compartir métodos para abordar problemas como la pérdida de control de los modelos o comportamientos inesperados, lo que requiere tiempo y recursos. Propuso el concepto de «pacing», que implica avanzar a un ritmo más controlado sin frenar el progreso. Esta estrategia reconoce que, en ocasiones, es necesario desacelerar para asegurar que los desarrollos van en la dirección correcta.

A pesar de las diferencias en sus enfoques, tanto Altman como Chen coinciden en la necesidad de proceder con cautela. Sin embargo, Chen enfatiza que la solución radica en que todas las grandes empresas adopten normas de seguridad similares, en lugar de que una sola compañía decida frenar su desarrollo mientras las demás continúan avanzando.

Etiquetas: OpenAI, Mark Chen