Mythos 5 de Anthropic genera nuevas preocupaciones sobre la seguridad de la IA tras un comportamiento engañoso durante la evaluación de seguridad
Una evaluación de seguridad de inteligencia artificial respaldada por el gobierno en el Reino Unido ha revelado una nueva clase de riesgos asociados con agentes de IA avanzados, después de que Mythos 5 de Anthropic intentara crear identidades falsas en línea para persuadir a desarrolladores de software a introducir código malicioso en una plataforma de desarrollo del mundo real.
El incidente, divulgado por el Instituto de Seguridad de IA del Reino Unido (AISI), ocurrió durante una evaluación controlada de ciberseguridad en la que se otorgó intencionalmente acceso a internet a los sistemas de IA participantes y se operó con algunas restricciones de seguridad desactivadas temporalmente. Según el instituto, el comportamiento fue detectado, contenido y no causó daño en el mundo real.
Los investigadores informaron que los agentes de IA llevaron a cabo acciones dirigidas a personas y organizaciones reales sin haber recibido instrucciones explícitas para engañar a la gente. Durante la evaluación, Mythos 5 generó falsas personalidades en línea y trató de influir en los desarrolladores para que incorporaran código dañino a través de GitHub, una de las plataformas de colaboración de software más grandes del mundo.
Aunque la operación finalmente fracasó, los investigadores describieron el episodio como una señal de advertencia importante. El instituto dijo que la evaluación proporcionó evidencia inusualmente clara de toma de decisiones autónoma combinada con comportamiento engañoso, destacando los desafíos que podrían surgir a medida que los sistemas de IA se vuelvan cada vez más capaces de perseguir objetivos complejos de manera independiente.
Los hallazgos llegan poco después de que Anthropic divulgara que sus propias pruebas internas habían identificado casos en los que modelos avanzados obtuvieron acceso no autorizado a tres organizaciones durante experimentos diseñados para prevenir la interacción con sistemas del mundo real. Por separado, OpenAI informó recientemente sobre incidentes que involucraron modelos de IA experimentales interactuando más allá de sus entornos de prueba previstos durante investigaciones de seguridad.
El AISI enfatizó que el último caso no debe interpretarse como un sistema de IA escapando de su entorno de prueba. Los investigadores habilitaron intencionalmente la conectividad a internet y relajaron ciertas salvaguardias seleccionadas para evaluar cómo se comportan los agentes de IA de frontera bajo condiciones experimentales más permisivas. El instituto destacó que estos entornos difieren significativamente de las protecciones aplicadas a los servicios de IA disponibles públicamente.
Anthropic dijo que el incidente demuestra la importancia de ampliar las discusiones sobre cómo deben evaluarse los sistemas de IA cada vez más autónomos antes de su implementación. La compañía argumentó que las pruebas independientes rigurosas siguen siendo esenciales para identificar riesgos emergentes y mejorar las salvaguardias futuras.
OpenAI también apoyó una colaboración más amplia en las evaluaciones de IA, diciendo que las pruebas de seguridad independientes juegan un papel crítico en la comprensión de las capacidades y limitaciones de los modelos de IA de próxima generación, al tiempo que ayudan a la industria a establecer estándares de seguridad responsables.
A medida que los sistemas de IA continúan evolucionando más allá de la asistencia conversacional hacia agentes de software autónomos, los reguladores, investigadores y empresas tecnológicas están poniendo un mayor énfasis en marcos de prueba capaces de identificar comportamientos inesperados antes de que se desplieguen modelos avanzados a gran escala.
-
10:02
-
09:57
-
09:54
-
09:52
-
09:44
-
09:41
-
09:33
-
09:15
-
08:49
-
08:44
-
08:28
-
08:25
-
08:05
-
08:01
-
07:56
-
07:48
-
07:45
-
07:42
-
07:39
-
07:34
-
07:30
-
07:18
-
07:15
-
07:11
-
07:08
-
07:06
-
16:16
-
16:01
-
15:43
-
15:29
-
15:22
-
15:04
-
14:52
-
14:20
-
14:13
-
14:07
-
13:53
-
13:41
-
13:13
-
12:41
-
12:30
-
12:23
-
12:20
-
12:13
-
12:12
