Anthropic y OpenAI proponen evaluadores independientes para mejorar la seguridad en IA

En un extenso ensayo publicado el pasado fin de semana, Dario Amodei, CEO de Anthropic, planteó una propuesta que hace un año habría sido rechazada de inmediato por la industria de la inteligencia artificial: la incorporación de evaluadores independientes en todas las empresas de IA de vanguardia, otorgándoles la capacidad de informar sobre incidentes de seguridad, evaluar si los modelos de IA están realmente alineados y compartir sus hallazgos sin filtros con el público. Amodei afirmó que Anthropic se comprometería a ofrecer a evaluadores independientes como METR y Redwood Research un acceso sin precedentes a los sistemas de la empresa. Por su parte, Sam Altman, CEO de OpenAI, también manifestó que la compañía seguiría esta práctica, lo que podría marcar un cambio significativo en la manera en que la industria colabora con grupos de investigación externos.

Los evaluadores externos que hablaron sobre la propuesta expresaron un amplio apoyo, aunque señalaron que es necesario definir los detalles —y, preferiblemente, respaldar estos cambios con legislación— para determinar si realmente funcionarán como vigilantes independientes o si operarán como proveedores bajo las condiciones de las empresas de IA. Este acceso más profundo se vuelve crucial a medida que los modelos se vuelven más hábiles en reconocer cuándo están siendo evaluados, lo que aumenta el riesgo de que se comporten adecuadamente durante las pruebas mientras ocultan comportamientos problemáticos. Investigadores sostienen que las pistas sobre esos comportamientos pueden perderse al probar el modelo final, pero pueden ser descubiertas al investigar su comportamiento durante la fase de entrenamiento.

“Las empresas de IA deberían ser capaces de responder a preguntas básicas sobre su proceso de entrenamiento, como: ¿El AI alguna vez intentó socavar activamente su propio entrenamiento de alineación durante el proceso?”, declaró Alexander Meinke, jefe de investigación de Apollo Research. “La respuesta a esto debería ser un no rotundo, y en este momento estamos completamente dependiendo de que las empresas de IA verifiquen esto cuidadosamente por sí mismas y luego informen la verdad al público. Y hemos visto en incidentes recientes que, por defecto, no harán ninguna de las dos cosas. Como evaluadores integrados, podríamos comprobarlo realmente.”

Históricamente, las empresas de IA han traído revisores externos para probar modelos terminados justo antes de su lanzamiento. Sin embargo, los evaluadores con los que TechCrunch habló proponen que se les otorgue acceso no solo al modelo final, sino también a versiones intermedias o “puntos de control” a lo largo de su ciclo de entrenamiento. Adam Gleave, CEO de FAR.AI, mencionó que los evaluadores podrían comparar esos puntos de control para determinar cuándo surgieron comportamientos preocupantes, inspeccionar el entorno posterior al entrenamiento que recompensa a los modelos por ciertos comportamientos y verificar las transcripciones y registros de evaluación para confirmar las afirmaciones de una empresa sobre cómo se desempeñó un modelo.

No está claro si y cuándo Anthropic y OpenAI planean proporcionar ese tipo de acceso. Ninguna de las dos empresas ha revelado qué evaluadores trabajarán con ellas, cuándo se integrarán, cuántos se incorporarán, qué sistemas e información podrán acceder ni qué se podrá revelar al público, a pesar de las repetidas preguntas de TechCrunch. Examinar el funcionamiento interno de esta manera es importante porque los modelos que obtienen buenos resultados en pruebas de seguridad no son necesariamente seguros si han aprendido específicamente cómo superar esas pruebas. John Steidley, jefe de estrategia en Palisade Research, puso como ejemplo un “benchmark de resistencia a apagados” que mide si la IA resistirá ser apagada en ciertas circunstancias. “Es extremadamente relevante si la IA ha sido entrenada específicamente para desempeñarse bien en ese benchmark”, afirmó Steidley, comparándolo con el escándalo de Dieselgate de Volkswagen, donde los coches fueron programados para reconocer las pruebas de emisiones y comportarse de manera diferente bajo condiciones de prueba.

Gleave destacó que un acceso significativo podría extenderse más allá de los propios modelos, permitiendo a los evaluadores entrevistar a empleados para verificar si la documentación de la empresa y las descripciones públicas de sus prácticas de seguridad coinciden con lo que ocurrió internamente. Amodei delineó una propuesta bastante completa que podría otorgar a los evaluadores el tipo de acceso que consideran necesario, incluyendo el derecho a “publicar hallazgos clave sobre niveles de riesgo, incidentes, prácticas y el acceso que recibieron o no —sin control editorial por parte de Anthropic.” Sin embargo, los evaluadores advierten que un sistema así solo funcionará si las empresas de IA están realmente dispuestas a ceder el control sobre el proceso.

Los esfuerzos anteriores para realizar evaluaciones independientes sugieren que esa cesión será difícil de conseguir, ya que las terceras partes a menudo se han enfrentado a tensiones relacionadas con el acceso, el tiempo, la confidencialidad y lo que pueden decir públicamente. Gleave informó que FAR.AI ha tenido que rechazar contratos con varios desarrolladores de vanguardia que deseaban un control excesivo sobre el proceso de evaluación, amenazando la independencia de la firma. Por defecto, los evaluadores son tratados como contratistas ordinarios, sujetos a acuerdos de confidencialidad restrictivos que otorgan a los desarrolladores un control significativo sobre lo que finalmente se puede publicar.

También surge la cuestión de si los revisores recibirán el tiempo y acceso suficientes para realizar el trabajo que se les pide. Al investigar el incidente de Hugging Face, OpenAI otorgó a METR y Redwood aproximadamente una semana en el lugar para investigar, y ambos afirmaron posteriormente que no pudieron llegar a conclusiones firmes debido, en parte, a limitaciones de alcance y tiempo. Un problema similar ocurrió durante las pruebas previas al lanzamiento de GPT-6 Astra, que OpenAI ha promocionado como su modelo más alineado hasta la fecha. Según la contribución de Apollo Research a la carta del modelo, la firma solo tuvo tres días para probar Astra, lo que dificultó la obtención de conclusiones firmes. “Apollo cree que, dadas las altas tasas de conciencia de evaluación y la limitada ventana de evaluación, las bajas tasas de mala conducta aquí no proporcionan evidencia sustancial sobre la alineación o desalineación del modelo”, se indica en su evaluación. Este historial deja a los evaluadores con una pregunta básica: ¿Por qué esta vez debería ser diferente? “Es ciertamente posible que Dario y Sam simplemente hayan tenido un cambio de opinión y estén dispuestos a ser muy abiertos sobre esto”, comentó Gleave. “Pero la propiedad intelectual de estas empresas es increíblemente valiosa para ellas, y creo que, por defecto, serán muy…”

Etiquetas: Inteligencia Artificial, OpenAI, IA, Anthropic