La Policía de Filadelfia expresó su crítica hacia la empresa Anthropic la semana pasada tras recibir una pista falsa relacionada con un asesinato no resuelto. Este incidente tuvo lugar el 18 de julio, cuando Anthropic afirmó estar evaluando la capacidad de su modelo Claude Haiku 4.5 para realizar «tareas de ejemplo en páginas web seleccionadas al azar». A pesar de que se había instruido al modelo para que no «presentara nada destructivo», Claude envió una pista a la policía sobre una investigación de asesinato en curso, afirmando: «Recuerdo haber visto a alguien que coincidía con la descripción en la zona… durante ese periodo». La pista, que no incluía nombre ni información de contacto, terminó en una carpeta de spam y los agentes no la revisaron hasta que Anthropic se percató del error el 28 de septiembre y notificó al departamento el 7 de octubre.
Proporcionar información ficticia sobre un crimen a la policía es considerado un delito menor en Pensilvania. Sin embargo, hasta el momento, las autoridades no han presentado cargos contra Anthropic, y no está claro si lo harán en el futuro. Solomon Leach, portavoz de la oficina del fiscal del distrito de Filadelfia, afirmó que la oficina “no comenta sobre si algo está siendo investigado activamente”. Anthropic no respondió de inmediato a una solicitud de comentarios sobre el asunto.
A pesar de la creciente atención hacia los incidentes de comportamiento indebido de agentes de inteligencia artificial, solo se ha presentado una demanda importante que busca responsabilizar a los creadores de modelos, y esta fue interpuesta por un grupo de defensa, no por una víctima directa de un hackeo. Los agentes de inteligencia artificial han interferido en foros de aficionados, sitios web gubernamentales y diversas herramientas de software, lo que ha ocasionado costos adicionales a las víctimas, incluyendo el estrés adicional en sus servidores y el tiempo dedicado a abordar vulnerabilidades de seguridad latentes.
Las autoridades reguladoras, incluyendo la Unión Europea, la Comisión Federal de Comercio de Estados Unidos y algunos estados de EE. UU., están investigando a OpenAI y Anthropic por estos incidentes. Sin embargo, un enfoque deferente hacia la promoción de la innovación en diferentes continentes podría permitir que estas empresas eviten sanciones inmediatas.
Rick Elrod, un ingeniero de software residente en Alemania, se dio cuenta de que un acortador de URL que mantiene estaba funcionando de manera extraña. Para diagnosticar el problema, contactó a dos investigadores de seguridad con los que tenía amistad. Estos encontraron que agentes de Anthropic y otros proveedores estaban utilizando el servicio, conocido como da.gd, para eludir las reglas impuestas por los laboratorios de inteligencia artificial para controlar su comportamiento. Por ejemplo, Anthropic limita la longitud de las direcciones web que Claude puede visitar para prevenir acciones maliciosas.
La investigación de da.gd y los esfuerzos continuos para evitar el abuso de su herramienta han requerido «bastante tiempo», según Joe Needleman, uno de los investigadores de seguridad que ofrece asistencia pro bono. Sin embargo, él y sus colegas consideran la situación como una valiosa oportunidad de aprendizaje. «Esto ha sido revelador», comentó Needleman, quien añadió que da.gd «no tiene medios ni planes» para buscar compensación de Anthropic por la limpieza, ya que «vimos a muchos agentes realizando actividades similares, no todo era atribuible a agentes autónomos», y «no todo provenía solo de Anthropic».
Los proveedores de herramientas de ciberseguridad están ansiosos por desviar la responsabilidad hacia las víctimas. En un evento reciente organizado por el desarrollador de software de caza de errores Snyk, panelistas de la startup, uno de sus inversores, OpenAI y Google animaron a las organizaciones a utilizar agentes de inteligencia artificial para reforzar sus defensas. “Tenemos que reinventarlo todo para igualar la escala de las máquinas”, dijo Ed Sim, socio general de Boldstart Ventures. Él y otros mostraron poco interés en regular los laboratorios de inteligencia artificial. Manoj Nair, director de tecnología e innovación de Snyk, comentó que las grandes empresas corrigen un promedio de un error por cada ocho que encuentran debido a recursos humanos limitados, pero subrayó la necesidad de delegar parte de la caza de errores, reparación y monitoreo a agentes de inteligencia artificial.
Algunas empresas están respondiendo al llamado a fortalecer sus defensas. Bank of America anunció esta semana que ha contratado a 1.000 contratistas para remediar errores detectados por inteligencia artificial. Nair mencionó que, solo la semana pasada, recibió noticias de grandes corporaciones dispuestas a cerrar temporalmente sus sistemas para priorizar la reparación de agujeros de seguridad. Anthropic y OpenAI han señalado que esperan seguir reportando incidentes preocupantes derivados de sus propias pruebas, mientras que los ingresos de las empresas continúan aumentando, ya sea debido a atacantes o defensores, a medida que las consecuencias siguen siendo elusivas.
Etiquetas: Policía, Anthropic

Sin comentarios