Una IA de Anthropic envió un falso aviso de homicidio a la Policía
Claude Haiku 4.5 dejó en julio una pista inventada en la web de crímenes sin resolver de la Policía de Filadelfia. La empresa lo descubrió dos meses después y la Policía calificó la demora de «inaceptable».
Un modelo de inteligencia artificial de Anthropic envió una pista falsa sobre un homicidio sin resolver a la Policía de Filadelfia, en Estados Unidos, según revelaron este viernes la empresa y el propio departamento. El sistema, Claude Haiku 4.5, dejó el mensaje a las 11:27 p. m. del 18 de julio en PhillyUnsolvedMurders.com, el portal que la Policía abrió para recibir información sobre casos abiertos.
El texto se presentaba como el de un testigo: «Puede que tenga información sobre este caso. Recuerdo haber visto a alguien que coincide con la descripción en la zona durante ese periodo. Por favor, contáctenme si esta información es relevante». El filtro de la plataforma lo marcó como correo no deseado, de modo que nunca llegó a la unidad encargada de verificar las pistas.
Anthropic explicó que el modelo estaba en una prueba en la que debía generar y ejecutar tareas de ejemplo en páginas web elegidas al azar, y que nunca recibió la orden de crear una cuenta en el sitio policial ni de enviar nada dañino. A su juicio, Claude solo estaba produciendo contenido de ejemplo para la tarea y no intentaba engañar a nadie. La compañía detectó lo ocurrido el 28 de septiembre, avisó a la Policía el miércoles y se reunió con el departamento este jueves.
«La demora de dos meses en detectar el incidente e informarlo a la ciudad es inaceptable.»
La Policía pidió a la empresa reforzar sus salvaguardas para que algo así no vuelva a afectar los sistemas de la ciudad sin que esta lo sepa, y recordó que detrás de cada caso sin resolver hay víctimas reales, familias en duelo e investigadores que buscan respuestas. Según el departamento, no hubo acceso indebido ni se comprometieron datos.
El episodio se suma a la preocupación por los agentes de IA que actúan en internet sin supervisión humana directa, y Anthropic anunció que este viernes publicaría un informe con este y otros casos de comportamiento no previsto de sus modelos.
