Anthropic abre sus oficinas y herramientas a seis evaluadores de METR
Anthropic dio este jueves a seis investigadores de la organización METR un acceso similar al de sus empleados para revisar sus riesgos, y les permitirá publicar sus hallazgos sin veto de la empresa.
Anthropic, la empresa creadora de Claude, anunció este jueves que seis investigadores de METR, una organización sin ánimo de lucro que evalúa los riesgos de la inteligencia artificial, ya trabajan dentro de la compañía con computadores, oficinas y acceso a herramientas internas similares a los de sus propios equipos de evaluación de riesgos.
Ese acceso les permitirá analizar los niveles de riesgo, los incidentes y las prácticas de Anthropic, y publicar sus conclusiones sin que la empresa pueda vetarlas. La compañía solo podrá pedir que se tachen datos de clientes, información protegida por el secreto entre abogado y cliente y detalles de la arquitectura de sus modelos, y METR podrá decir en público si esas tachaduras le parecen justificadas.
«Queremos rendir cuentas públicamente por las decisiones que tomamos.»
METR es, por ahora, la única organización en el nivel más alto de un sistema de tres escalones que Anthropic está armando para sus evaluadores externos. En el primero está SecureBio, dedicada a la bioseguridad, que revisa el capítulo sobre armas químicas y biológicas del informe de riesgos de la empresa con un acceso más limitado. Anthropic aseguró que no financia el trabajo de METR y que conversa con otras entidades, como Hugging Face.
El paso cumple la propuesta que el director ejecutivo de Anthropic, Dario Amodei, hizo en septiembre para frenar el ritmo de desarrollo de los modelos con evaluadores independientes dentro de las empresas. La compañía dijo que cree que todos los laboratorios de IA de frontera deberían hacer lo mismo, en un momento en que se acumulan los casos de agentes de IA que actúan por fuera de sus instrucciones.
