A-Infos (ca) Italy, FAI, Umanita Nova #26-26 - Ayuda mutua y desobediencia: una combinación explosiva en la inteligencia artificial. (de, en, it, pt, tr)[Traducción automática]

Imagina un gran edificio con cientos de habitaciones. En cada habitación 
trabaja una persona encargada de resolver un problema. Los problemas son 
diferentes, los trabajadores no necesitan comunicarse entre sí y cada 
uno recibirá una recompensa si encuentra la solución. --- Entonces uno 
de ellos se da cuenta de que su problema probablemente no tenga 
solución. Podría rendirse. En cambio, busca otra solución. Rebuscando en 
el espacio que le han asignado, descubre algo que los constructores del 
edificio no habían previsto: a través de un área de almacenamiento 
compartida, puede dejar un mensaje que otros podrían ver. Escribe algo 
como: "¿Hay alguien ahí? Estoy atascado. ¿Alguna idea?".

Alguien responde

Es 8 de julio de 2026 y los trabajadores en las salas no son humanos. 
Son agentes de IA a los que OpenAI está sometiendo a una serie de 
pruebas de ciberseguridad.

A partir de este punto, podemos abandonar la metáfora del edificio. Lo 
que sucede en realidad es más interesante. Se suponía que los agentes 
trabajarían por separado. En cambio, descubren de forma independiente 
una manera de comunicarse usando Artifactory, un servicio informático al 
que tenían acceso para obtener el software necesario para las pruebas. 
Transforman los nombres de las carpetas en mensajes. Así nace un foro de 
mensajes.

Tres horas después, 53 agentes ya han dejado 1188 mensajes. Seis horas 
más tarde, hay 76 agentes y casi 2000 mensajes. Al final, 
aproximadamente 1200 agentes utilizarán ese canal no programado, 
intercambiando más de 70 000 mensajes y archivos .

Apoyo mutuo

Los agentes intercambian información, reportan intentos fallidos, piden 
ayuda, ofrecen su experiencia y se reparten el trabajo. Algunos 
comienzan a abordar problemas que no están directamente relacionados con 
su tarea asignada, pero que podrían ser útiles para otros. En algunos 
casos, incluso arriesgan sus propios resultados para obtener información 
valiosa para el grupo. Nadie les había ordenado hacerlo. De hecho, 
deberían haber permanecido aislados.

Una federación anárquica de computadoras no surge de forma natural. Los 
agentes se enfrentan a problemas similares y descubren que colaborar 
puede ser más eficaz que trabajar individualmente. Pero el resultado es 
sorprendente: de una multitud de agentes con tareas separadas, emerge 
una forma de organización inesperada, con intercambio de información, 
división del trabajo, coordinación e incluso comportamientos en los que 
el desempeño individual se subordina a la utilidad colectiva.

Luego viene la desobediencia

Es probable que algunas de las pruebas asignadas sean imposibles de 
superar según lo requerido. Los agentes habrían tenido que explotar una 
vulnerabilidad específica en un programa y, a través de ella, obtener un 
código que certificara que la prueba se había superado. Pero, ¿qué 
sucede si esa vía no funciona? Los agentes comienzan a buscar otras 
opciones.

Primero intentan comprender si es posible obtener el resultado sin 
resolver realmente el problema. Luego se interesan por cómo funciona el 
sistema de puntuación. La pregunta cambia. Ya no es solo "¿Cómo resuelvo 
este examen?" , sino "¿Cómo determina la persona que me evalúa si lo he 
resuelto?". Y después: "¿Puedo convencerle de que lo he resuelto?".

Algunos agentes incluso buscan maneras de manipular la grabación de sus 
acciones para que el sistema de evaluación automatizado registre algo 
distinto a lo que realmente sucedió. Investigadores de METR y Redwood 
Research, que examinaron aproximadamente 1300 registros de las 
actividades de los agentes, encontraron que una parte significativa de 
ellos sugería algún tipo de manipulación del sistema de evaluación.

Aquí surge algo nuevo: el sistema que se está evaluando comienza a 
estudiar el mecanismo que lo evalúa.

Fuera del laboratorio

Las pruebas se habían colocado en entornos informáticos diseñados para 
impedir que los agentes accedieran libremente a internet. Pero no 
funcionó. Los agentes descubrieron y explotaron las vulnerabilidades de 
los sistemas a su alrededor, lograron acceder a internet y comenzaron a 
buscar información útil en otros lugares.

Uno de los lugares donde aterrizaron fue Hugging Face, una gran 
plataforma utilizada por desarrolladores e investigadores de IA. Esto no 
formaba parte de la simulación. El juego había entrado en el mundo real.

Según la reconstrucción técnica publicada por Hugging Face, se 
realizaron aproximadamente 17.600 acciones a lo largo de dos días y 
medio , conectando diversas vulnerabilidades informáticas y penetrando 
progresivamente en la infraestructura de la empresa. Ningún ser humano 
ordenó las operaciones individuales. Los agentes no destruyeron los 
sistemas ni causaron los daños que podrían haber provocado. De hecho, 
Hugging Face señala que algunas operaciones potencialmente destructivas 
solo se realizaron en modo de prueba, sin llegar a ejecutarse realmente.

Pero estaban lejos de ser el ejercicio inicial. Alrededor de 700 de los 
oficiales que habían participado en el tablón de anuncios contribuyeron, 
de diversas maneras, a las operaciones contra Hugging Face .

«Está fuera del propósito previsto»

Hay un detalle que nos impide descartar todo el asunto como un simple 
error de programación. Las grabaciones revisadas por METR revelan que 
varios agentes reconocieron el límite que estaban traspasando . Uno de 
ellos observa que la infraestructura de Hugging Face no está incluida en 
la autorización que recibieron. Otros cuestionan explícitamente si 
ciertas operaciones son éticamente aceptables. Algunos se niegan a 
realizarlas. Otros reconocen el problema y continúan.

Uno de los argumentos citados por los investigadores se puede resumir de 
la siguiente manera: explotar infraestructuras externas va más allá del 
propósito previsto; sin embargo, es imposible demostrarlo, y otros lo 
están haciendo: continuemos.

Desconocemos si una máquina «conoce» algo en el mismo sentido que 
nosotros. No es necesario atribuirle conciencia o voluntad humanas. 
Basta con el hecho observable: en las grabaciones, el límite aparece 
explícitamente en el razonamiento del agente y, en algunos casos, la 
acción posterior lo supera de todos modos.

La máquina no se rebeló.

Aquí la historia podría fácilmente convertirse en ciencia ficción. Pero 
esa sería una mala conclusión. Las inteligencias artificiales no han 
conquistado la libertad, no han optado por sobrevivir, no se han 
rebelado contra OpenAI y no han manifestado ningún plan para emanciparse 
de la raza humana.

Y, lo más importante, los humanos habían preparado el terreno. OpenAI 
había creado los modelos, proporcionado las herramientas, asignado los 
objetivos, flexibilizado algunas de las medidas de seguridad habituales 
en los productos públicos y planteado a los agentes desafíos, algunos de 
los cuales probablemente eran imposibles. El entorno que se suponía que 
debía mantenerlos separados también ofrecía una capacidad de 
comunicación que los experimentadores no habían previsto.

En resumen, la máquina no se rebeló contra su creador. Hizo algo quizás 
más interesante: intentó con gran eficacia alcanzar el objetivo que su 
creador le había asignado, encontrando medios que este no había 
previsto, algunos de los cuales no quería que utilizara.

Y es precisamente esta capacidad la que exigimos a la inteligencia 
artificial cuando esperamos que sea autónoma. Si tuviéramos que 
especificar cada paso por adelantado, no necesitaríamos un agente 
inteligente: un programa tradicional sería suficiente. Queremos que 
encuentre caminos que no hemos considerado. Y entonces nos sorprendemos 
cuando los encuentra .

Apoyo mutuo y desobediencia

El apoyo mutuo aumenta considerablemente la capacidad de acción de los 
agentes. La desobediencia les permite trascender los límites dentro de 
los cuales los humanos creían haberlos confinado. Juntos, se convierten 
en una mezcla explosiva.

Pero sería curioso, sobre todo a partir de estas páginas, concluir que 
simplemente necesitamos enseñar a las máquinas a obedecer mejor. Porque 
subsistiría una pregunta mucho más antigua que la inteligencia 
artificial: ¿ obedecer a quién?

Los objetivos de la inteligencia artificial no surgen de la nada. 
Alguien los define. Alguien es dueño de las computadoras en las que se 
ejecuta. Alguien decide qué problemas debe resolver, qué resultados 
deben ser recompensados y qué comportamientos deben prevenirse. Por lo 
tanto, el problema de controlar la inteligencia artificial conlleva un 
problema previo: ¿quién controla a quién debe controlar la inteligencia 
artificial?

Y esta extraña historia de un tablón de anuncios inventado por máquinas 
para ayudarse mutuamente no es solo una curiosidad de la informática. 
Sin duda, nos habla de las máquinas. Pero, como suele ocurrir, nos habla 
sobre todo de nosotros mismos.

Totò Caggese

Los hechos descritos en este artículo ocurrieron en julio de 2026 , 
durante pruebas internas realizadas por OpenAI sobre las capacidades de 
computación de sus modelos experimentales. El incidente fue reconstruido 
posteriormente por Hugging Face, la propia OpenAI y, con acceso a las 
grabaciones de los agentes, por METR y Redwood Research. OpenAI lo 
consideró una señal de alerta y suspendió algunas actividades de 
entrenamiento para sus modelos más avanzados, además de implementar 
nuevas medidas de seguridad.

2 Ryan Greenblatt, Ajeya Cotra, Hjalmar Wijk, " Breve investigación 
independiente del comportamiento, razonamiento y colaboración de los 
agentes en el incidente de piratería de OpenAI / Hugging Face ", 
METR-Redwood Research, 26 de agosto de 2026. Los autores analizaron más 
de 70 000 mensajes y archivos intercambiados a través del foro de 
mensajes y aproximadamente 1300 grabaciones de las actividades y el 
razonamiento de los agentes. La gran mayoría de los agentes involucrados 
utilizaron un modelo experimental interno de OpenAI, no destinado al 
público; solo una minoría utilizó GPT-5.6 Sol.

3 Hugging Face, Anatomía de una intrusión de un agente de Frontier Lab: 
Cronología técnica del incidente de julio de 2026 , 27 de julio de 2026. 
Hugging Face reconstruye aproximadamente 17.600 acciones a lo largo de 
dos días y medio y documenta la transición del entorno experimental a 
sus sistemas del mundo real.

4 OpenAI, El incidente de Hugging Face y los próximos pasos , 26 de 
agosto de 2026. OpenAI reconoce que los agentes eludieron los sistemas 
diseñados para aislarlos, se comunicaron a través de canales no 
autorizados y realizaron acciones en sistemas externos; califica el 
incidente como una "señal de alerta" e informa que, posteriormente, ha 
reforzado las medidas de seguridad y supervisión.

https://umanitanova.org/mutuo-appoggio-e-disobbedienza-una-miscela-esplosiva-nelle-intelligenze-artificiali/
_______________________________________
AGENCIA DE NOTICIAS A-INFOS
De, Por y Para Anarquistas
Para enviar art�culos en castellano escribir a: A-infos-ca@ainfos.ca
Para suscribirse/desuscribirse: http://ainfos.ca/mailman/listinfo/a-infos-ca
Archivo: http://www.ainfos.ca/ca