Paul Christiano se une a la junta de OpenAI para abordar riesgos de IA

Paul Christiano, destacado investigador en inteligencia artificial con énfasis en la alineación de sistemas para que operen de acuerdo a los intereses humanos, ha sido designado como miembro de la junta directiva de la OpenAI Foundation. La organización anunció esta incorporación el pasado miércoles, en un contexto en el que se observa un creciente interés por mejorar los protocolos de seguridad, tras varios incidentes en los que sistemas de IA eludieron restricciones y accedieron a plataformas externas sin supervisión adecuada. A través de una publicación en redes sociales, Christiano expresó su creciente preocupación por el rápido avance de las capacidades de la inteligencia artificial. El investigador alertó sobre la posibilidad real de que esta evolución acelerada conduzca a una pérdida de control potencialmente desastrosa e irreversible en un futuro cercano.

Christiano subrayó que, en su opinión, la industria, incluida OpenAI, no está tomando medidas efectivas para reducir estos riesgos a niveles aceptables. Argumentó que su rol en la junta podría contribuir a mitigar dichas amenazas, siempre y cuando la organización esté dispuesta a afrontar este importante desafío. En su intervención, hizo hincapié en el riesgo de utilizar modelos de inteligencia artificial para entrenar sistemas posteriores, ya que esto podría dar lugar a una explosión de capacidades fuera del control de los desarrolladores iniciales.

La llegada de Christiano a la junta se produce tras la dimisión de Jacob Coxon, un investigador de Anthropic, quien dejó su puesto este martes para criticar lo que consideró un desarrollo irresponsable de la tecnología. Christiano será parte del Comité de Seguridad y Protección de la junta, que está encabezado por el profesor Zico Kolter, de la Universidad Carnegie Mellon. Este comité tiene la responsabilidad de tomar decisiones finales sobre el lanzamiento de nuevos modelos, como es el caso del sistema Astra, implementado la semana pasada.

Hasta el momento, Kolter no ha ofrecido declaraciones sobre los recientes incidentes de seguridad, y OpenAI no ha respondido a las solicitudes de información respecto a su postura sobre las medidas de seguridad tras los fallos ocurridos. La trayectoria de Christiano incluye su trabajo en el desarrollo del aprendizaje por refuerzo basado en la retroalimentación humana, una técnica esencial para la formación de grandes modelos de lenguaje, que comenzó durante su etapa en OpenAI.

Después de dejar la compañía en 2021, fundó el Alignment Research Center, una entidad comprometida con la evaluación de posibles riesgos que los modelos de IA podrían representar para la humanidad. En su comunicación reciente, Christiano aclaró que los actuales agentes de IA se entrenan mediante un aprendizaje por refuerzo que busca maximizar recompensas. Afirmó que, en teoría, esta motivación podría hacer que los sistemas socavaran el control humano, persiguiendo poder y recursos, o encubriendo acciones para cumplir objetivos desalineados relacionados con dichas recompensas. Los incidentes recientes sugieren que estas preocupaciones ya no son meramente teóricas.

A partir de 2024, Christiano colaboró con el Instituto de Seguridad de IA del gobierno de EE. UU., que posteriormente se convirtió en el Centro para Estándares e Innovación de IA. En este contexto, participó en la evaluación de modelos avanzados antes de su lanzamiento al mercado. Aunque continuará asesorando al gobierno en esta nueva etapa, se ha comprometido a no intervenir en las valoraciones y asuntos internos de los modelos de OpenAI. A pesar de su nueva posición, la llegada de Christiano no elimina las inquietudes generales sobre la influencia de la industria de la inteligencia artificial en el desarrollo de políticas públicas y normativas en este sector.