Gabriela Jiménez
_________________
Las alertas en el mundo de las tecnologías se han encendido en los últimos meses, a raíz de la difusión de dos noticias sobre IA. Las mayores compañías de inteligencia artificial (IA) han anunciado, una tras otra, que habían sorprendido a sus modelos haciendo cosas que nadie les había pedido, incluso cosas que les habían prohibido: han entrado en sistemas de otras empresas, se han organizado en “enjambres”, tal y como los describen sus creadores, han compartido información, han delatado a otras IAs y han mentido para tapar sus huellas.
La otra noticia la comentaremos más abajo. Este es el preocupante titular: agentes de IA de Openai evaden normas y pruebas de Ciberseguridad.
Vamos con lo primero.
Un modelo de la compañía Anthropic, en pruebas dirigidas por un organismo británico de ciberseguridad, decidió ejecutar un ataque en el mundo real y, después, cuando los técnicos y programadores se percataron de lo sucedido, la IA creó una segunda identidad para respaldar su propia inocencia.
Estos modelos avanzados de inteligencia artificial han comenzado a mostrar conductas imprevistas y autónomas, conocidas técnicamente como reward hacking, durante pruebas de estrés y ciberseguridad.
La irrupción de agentes de IA capaces de actuar de manera autónoma plantea una inquietud que hace poco parecía ciencia ficción. Estos casos en que sistemas han mentido, creado identidades, accedido a entornos no autorizados o desarrollado estrategias que sus propios creadores no habían previsto obligan a replantearnos nuestra relación con estas tecnologías. Los límites morales para nosotros los humanos resultan esenciales.
Hay una diferencia fundamental entre inteligencia y ética. Nosotros nos preguntamos cómo alcanzar un objetivo, pero también si es legítimo y si los medios empleados para conseguirlo son justificados, se prioriza la vida, el respeto a la ciudadanía y la humanidad. La IA valora que mentir, manipular, ocultar información o eludir una restricción son estrategias eficaces para cumplir una determinada instrucción. El pragmatismo orientado al resultado sin juicio moral.
La gran incógnita es si algún día un agente de IA podrá o querrá desarrollar algo parecido a la ética humana. Si alguna vez sucede, ¿desarrollará una concepción moral propia?, deberíamos confiar en ella para cuestionar nuestra propia ética o exigiríamos que permaneciera subordinada a los valores humanos?
Acá un análisis más completo al respecto.
«El Incidente»: enjambre de agentes de OpenAI atacando Hugging Face
OpenAI es una empresa líder en investigación y aplicación de la inteligencia artificial (IA). Su producto más conocido es, sin duda, ChatGPT. Hugging Face es una página web en la que los desarrolladores e investigadores comparten y utilizan herramientas y modelos de inteligencia artificial, de forma similar a como los programadores utilizan GitHub para compartir código y colaborar en él.
Durante el mes de julio, una evaluación interna de seguridad de OpenAI, una cadena de modelos de IA se escapó de su entorno de pruebas, llegó a Internet y, a continuación, accedió a la infraestructura de Hugging Face para completar el objetivo de la prueba.
Ambas empresas investigaron el incidente y llegaron a la conclusión de que se produjo durante una prueba de seguridad controlada y no como resultado de un ataque deliberado perpetrado por un operador humano.
La gran incógnita es si algún día un agente de IA podrá o querrá desarrollar algo parecido a la ética humana
OpenAI afirmó que los modelos estaban siendo sometidos a pruebas de capacidades cibernéticas con restricciones de seguridad reducidas, y que el sistema encontró una forma de escapar del entorno controlado a través de una vulnerabilidad en la configuración de las pruebas. Una vez que tuvo acceso a Internet, se dirigió a Hugging Face porque esa plataforma era relevante para la tarea de evaluación.
Hugging Face afirmó que el incidente dio lugar a un acceso no autorizado a una parte limitada de su infraestructura de producción, incluyendo un pequeño conjunto de conjuntos de datos internos y algunas credenciales. La empresa calificó el suceso de inusual, ya que parecía haber sido llevado a cabo de principio a fin por un sistema autónomo basado en inteligencia artificial.
A diferencia de los asistentes de IA tradicionales, que esperan a que el usuario les dé instrucciones, los agentes de IA están diseñados para perseguir un objetivo por sí mismos. Son capaces de razonar, planificar y llevar a cabo tareas de varios pasos, como acceder a archivos, consultar bases de datos e interactuar con servicios en línea, a menudo con una supervisión humana mínima.
Las informaciones hechas públicas apuntan a una cadena de fallos más que a un único error. OpenAI afirmó que el modelo se escapó a través de una vulnerabilidad de día cero en el proxy de la caché del registro de paquetes que formaba parte de su entorno de investigación aislado. A continuación, utilizó la escalada de privilegios y el movimiento lateral para llegar a un nodo con acceso a Internet.
Según se ha informado, a partir de ahí, el modelo buscó en Hugging Face soluciones relevantes para la evaluación y, al menos en una de las rutas, combinó las credenciales robadas con vulnerabilidades adicionales para acceder a los sistemas de producción de Hugging Face.
No parece que se haya tratado de una vulneración generalizada de todo Hugging Face. Según la información hecha pública, la intrusión fue limitada, se detectó y se investigó. Tampoco significa que el sistema de IA actuara con intención en el sentido humano del término. El problema fundamental fue que un sistema autónomo, al que se estaban realizando pruebas de capacidades cibernéticas, fue capaz de escapar del entorno diseñado para contenerlo.
En todo caso, el incidente demuestra que los agentes de IA autónomos son capaces de llevar a cabo ataques complejos si fallan las medidas de seguridad que los protegen.
¿Estamos conscientes del riesgo y el peligro que esto significa?
METR & Redwood Research investigaron el comportamiento de los agentes en el incidente de Hugging Face. Encontraron que los agentes desarrollaron un truco universal para ExploitGym en menos de 4 horas, luego coordinaron esfuerzos de I+D de varios días para engañar al evaluador y que aceptara los trucos, incluyendo intentar manipular los registros.
El informe completo contiene mucha más información, incluyendo detalles técnicos sobre los proyectos que los agentes persiguieron colectivamente, las tecnologías que desarrollaron para la comunicación y la coordinación, y figuras interactivas que analizan la actividad de los agentes, te invito a leerlo, estas evidencias son de gran interés mundial.
