Anthropic frena intentos de usar su modelo con patógenos
Un informe de la compañía detalla casos de mal uso durante ocho meses, entre ellos una solicitud vinculada a un instituto militar, y describe cinco campañas chinas de extracción de capacidades.
La compañía estadounidense Anthropic informó que interrumpió varios intentos de usar sus modelos de inteligencia artificial en investigaciones que podrían servir para desarrollar armas biológicas. Los casos aparecen en un informe difundido el jueves sobre el mal uso de sus sistemas durante los últimos ocho meses.
Uno de ellos ocurrió en mayo: un científico pidió ayuda para una solicitud de financiación destinada a introducir mutaciones en el chikunguña, un virus transmitido por mosquitos, para hacerlo más dañino en animales vivos. La empresa dijo que el caso resultaba preocupante en parte porque pudo establecer que el trabajo estaba destinado a un instituto de investigación militar, y canceló las cuentas implicadas.
La dificultad, admitió, es que no puede distinguir entre investigación legítima y malintencionada, porque el mismo procedimiento que conduce a una vacuna puede servir para diseñar un patógeno peligroso. «Lo que no sabemos es si la investigación estaba pensada para ser convertida en arma», dijo Jacob Klein, jefe de inteligencia de amenazas de la firma. Evaluaciones del año pasado concluyeron que sus modelos anteriores no podían asistir de forma significativa en ese terreno; los nuevos sí completan trabajo científico complejo.
El mismo documento describe casi 200 millones de intercambios ligados a cinco campañas de destilación, la técnica que extrae el razonamiento interno de un modelo para entrenar con él otro más pequeño. La mayor, atribuida a Alibaba, concentró 151 millones de intercambios entre mayo y julio, repartidos en 3.500 cuentas y con picos de casi tres millones diarios. Otra, vinculada a Moonshot AI, enrutó cerca de 300.000 peticiones en diez días a través de 5.000 cuentas.
El informe llegó dos días después de que un investigador renunciara a la compañía advirtiendo que la carrera por desarrollar inteligencia artificial podría acabar con la humanidad. El presidente Donald Trump desestimó esas alarmas el jueves: dijo que le preocupa que Estados Unidos quede en «muy mala posición» si no lidera la carrera y, preguntado por el riesgo de extinción, respondió que no tiene ninguna inquietud.
