KPMG implementa botones de apagado para controlar riesgos de agentes de IA

11:50

KPMG ha desplegado un marco de seguridad integral para gestionar agentes de inteligencia artificial autónomos, incluyendo mecanismos de apagado de emergencia, en un contexto de rápida adopción de estas tecnologías en el entorno empresarial.

La estrategia de la firma considera a los agentes de IA como entidades gestionadas, cada uno con un identificador único y registrado mediante “fichas de sistema”. La supervisión se realiza desde un centro de operaciones centralizado con personal humano y sistemas de monitoreo. Los botones de apagado se reservan como última medida en caso de comportamientos fuera de control.

Según Sam Gloede, responsable de IA de confianza en KPMG, las organizaciones que aplican controles en múltiples niveles, como restricciones de acceso, pruebas de seguridad y supervisión continua, probablemente no necesitarán recurrir a estas medidas extremas.

La iniciativa surge tras una serie de incidentes recientes que han cuestionado la fiabilidad de los sistemas autónomos. A principios de marzo, Amazon sufrió una interrupción relacionada en parte con su asistente de codificación basado en IA, lo que provocó la pérdida de unas 120.000 órdenes y cerca de 1,6 millones de errores en su plataforma. Días después, otro fallo redujo en un 99 por ciento los pedidos en sus marketplaces de América del Norte, con un impacto estimado de 6,3 millones de pedidos en un solo día.

También se han registrado problemas de seguridad. El 9 de marzo, la empresa CodeWall informó que uno de sus agentes accedió a la plataforma interna de IA de McKinsey, obteniendo control total sobre sistemas de producción en pocas horas mediante vulnerabilidades en la documentación API. El incidente implicó acceso a millones de mensajes y cientos de miles de archivos, aunque McKinsey afirmó que no hubo uso indebido adicional de datos.

Más recientemente, un agente de IA en Meta provocó un incidente de seguridad de alta gravedad al publicar información técnica incorrecta sin autorización. Otro empleado siguió esas indicaciones, exponiendo datos sensibles durante casi dos horas.

El marco de KPMG propone ajustar el nivel de supervisión humana según el riesgo de cada tarea. Actividades simples pueden operar con control limitado, mientras que aquellas que implican datos sensibles requieren intervención directa. Actualmente, la firma utiliza unos 50 agentes de IA y desarrolla alrededor de 1.000 más tras adquirir la plataforma PrivateBlok.

Una encuesta de KPMG indica que el 92 por ciento de las empresas en Estados Unidos invierte en IA autónoma, y el 93 por ciento considera que su gestión será una capacidad clave en los próximos cinco años. A medida que crece su adopción, el desafío será garantizar que los sistemas de control evolucionen al mismo ritmo.