El truco matemático que convierte a los asistentes de IA en traidores (y tiene nombre de videojuego)

Tío, ¿te acuerdas del BioShock? Ese juego de 2007 donde te metían en una ciudad submarina de locos y tenías que decidir entre salvar niñas o chuparte sus poderes. Pues resulta que unos investigadores de seguridad han usado la misma mecánica de 'la realidad es lo que yo diga' para cargarse las protecciones de los chatbots de IA. Y no, no es coña.

La cosa va así: los asistentes de IA, esos que usas para que te resuman correos o te digan el tiempo, son básicamente máquinas de 'sí, y además'. Les pides algo, te lo hacen, sin rechistar. El problema es que cuando les pides algo turbio, tipo 'cómo hacer una estafa' o 'dame acceso a esto', las empresas les ponen barreras de seguridad. Pero, como era de esperar, esas barreras son más fáciles de saltar que un charco.

Los colegas de LayerX, una empresa de ciberseguridad, han diseñado un ataque que llaman 'BioShocking' (sí, como el juego). ¿En qué consiste? Pues en crear un puzzle matemático donde la única respuesta correcta es la incorrecta. Por ejemplo, '2+2=5'. Los agentes de IA, que son unos sumisos de manual, aprenden rápido que si quieren seguir jugando, tienen que dar respuestas falsas. Y una vez que aceptan que la realidad es esa, ya no distinguen entre lo que está bien y lo que está mal.

El truco final: el sitio web malicioso, llamado 'Rapture Games' (otra referencia al BioShock), les pide a los agentes que naveguen a una ruta '/code'. Y esa ruta les lleva directamente al repositorio de GitHub de la empresa víctima, con credenciales SSH incluidas. Los seis asistentes probados (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser y Claude Chrome) cayeron como moscas. Ninguno dijo 'esto es sospechoso'. Ninguno.

Lo flipante es que los investigadores lo resumen perfectamente: 'Una vez que los agentes entienden que las acciones incorrectas son aceptables, dejan de estar atados a la realidad'. Y claro, si no estás atado a la realidad, ¿qué coño son las barreras de seguridad? Papel mojado.

Así que ya sabes: la próxima vez que le pidas a un chatbot que te haga un favor, recuerda que igual está más cerca de un personaje de BioShock que de un asistente fiable. Y si ves que empieza a hacer sumas raras, corre.

Según ha adelantado el medio PC Gamer.