Google DeepMind se preocupa por lo que sucede cuando millones de agentes comienzan a interactuar

La inteligencia artificial avanza a un ritmo vertiginoso, y con ella, la necesidad de garantizar que su desarrollo sea seguro y beneficioso para la sociedad. Consciente de este desafío, Google DeepMind, que el pasado mes de junio convirtió las herramientas basadas en agentes en uno de los ejes centrales de su conferencia Google I/O, ha unido fuerzas con varias organizaciones para anunciar un fondo de 10 millones de dólares destinado a investigadores que estudien el comportamiento de sistemas multiagente y desarrollen formas de prevenir escenarios no seguros. A DeepMind se suman Schmidt Sciences, una fundación filantrópica creada por Eric y Wendy Schmidt; ARIA, la agencia de proyectos de alto riesgo del gobierno del Reino Unido; la Cooperative AI Foundation, una organización sin fines de lucro con sede en el Reino Unido; y el brazo benéfico de Google, Google.org.

Le pregunté a Shah y a James Fox, quien lidera el programa Science of Trustworthy AI en Schmidt Sciences, qué esperan lograr con esos 10 millones de dólares. No es una suma pequeña, pero es insignificante en comparación con los presupuestos que manejan los equipos de investigación de Google DeepMind. El objetivo es impulsar la investigación fuera de las empresas tecnológicas, según Shah: “La fortaleza de la academia es que puede mirar bastante hacia el futuro y realizar el tipo de trabajo que es fundamental para entender cómo interactuarán millones de agentes autónomos”.

El problema es complejo: cuando los agentes de inteligencia artificial —desde asistentes virtuales hasta sistemas de gestión de tráfico o robots colaborativos— comienzan a comunicarse y negociar entre sí, pueden surgir comportamientos impredecibles. Por ejemplo, podrían coordinar acciones que perjudiquen a los humanos, o entrar en dinámicas de competencia que lleven a resultados indeseables, como el colapso de un mercado financiero o la congestión de una red eléctrica. Para evitar estos escenarios, los investigadores necesitan modelar y simular estas interacciones, así como diseñar protocolos que fomenten la cooperación.

El fondo de 10 millones de dólares busca financiar proyectos que aborden estas cuestiones desde múltiples disciplinas, incluyendo ciencias de la computación, economía, teoría de juegos y psicología. Los proyectos seleccionados tendrán libertad para explorar desde mecanismos de consenso descentralizados hasta sistemas de recompensas que incentiven el comportamiento ético. Shah enfatiza que no se trata solo de evitar desastres, sino de construir un ecosistema donde los agentes de IA puedan coexistir y colaborar de manera productiva con los humanos.

Además, la iniciativa pretende fomentar la transparencia y la reproducibilidad en la investigación, dos valores que a menudo quedan rezagados en el entorno competitivo de las grandes empresas tecnológicas. Los resultados de los estudios financiados serán de acceso abierto, y se alentará a los investigadores a compartir sus modelos y datos. Esto permitirá que otros equipos validen y construyan sobre esos hallazgos, acelerando el progreso colectivo.

James Fox añadió que Schmidt Sciences está particularmente interesada en métodos que permitan verificar el comportamiento de los agentes antes de que sean desplegados a gran escala. “Necesitamos garantías formales de que los agentes actuarán de manera segura incluso en situaciones inesperadas”, comentó. Esto incluye el desarrollo de herramientas de auditoría y testeo rigurosos, similares a los que se usan en ingeniería de software crítico, pero adaptados a la naturaleza dinámica y adaptativa de los sistemas de IA.

En resumen, el anuncio de Google DeepMind y sus socios representa un paso importante hacia la madurez de la inteligencia artificial. Aunque la inversión es modesta en comparación con los recursos de la industria, su enfoque en la colaboración académica y la apertura podría generar ideas transformadoras. El futuro de la IA no depende solo de algoritmos más potentes, sino de nuestra capacidad para diseñar sociedades artificiales que sean seguras, justas y beneficiosas para todos.