Cuando los robots de Facebook inventaron su propio idioma (y los mitos que se armaron)

Dos robots están hablando. Se llaman Bob y Alice. Y lo que dicen no tiene ningún sentido:

> Bob: i can i i everything else . . . . . . . . . . . .

> Alice: balls have zero to me to me to me to me to me to me to me to me to

Léelo otra vez. Parece un error. Parece que algo se rompió. Pero estos dos robots, creados dentro de Facebook en 2017, no estaban rotos. Estaban llegando a un acuerdo. Sin que nadie lo notara, habían dejado de hablar inglés y habían empezado a usar un código reducido que solo ellos entendían — y en cuestión de semanas, el internet decidió que ese era el momento en que las máquinas despertaron.

Los titulares encendieron el mundo. «Los ingenieros de Facebook entran en pánico y apagan la IA después de que los robots inventaron su propio idioma.» Sonaba a la escena inicial de una película de ciencia ficción. La verdad es más extraña y más silenciosa: los robots sí inventaron un lenguaje abreviado, los investigadores sí detuvieron el experimento, y casi todo lo que los titulares dijeron sobre el por qué estaba equivocado.

Los hechos documentados

El experimento fue real, y fue publicado. En junio de 2017, un equipo de Facebook AI Research (FAIR) lanzó un artículo llamado «Deal or No Deal? End-to-End Learning for Negotiation Dialogues», con los autores Mike Lewis, Denis Yarats, Yann Dauphin, Devi Parikh y Dhruv Batra (arXiv). El código y el conjunto de datos de 5,808 diálogos de negociación fueron publicados en GitHub para que cualquiera pudiera verlos (Facebook Research, GitHub).

El juego era de regateo. A dos agentes de IA les mostraban un montón de objetos — pelotas, sombreros y libros — y a cada uno le decían en secreto cuánto valoraba cada cosa. Luego tenían que conversar y dividir el montón. El truco: ninguno podía ver qué le importaba al otro. Para ganar, tenían que hablar, como dos niños dividiéndose una bolsa de dulces donde uno en secreto solo quiere los gomitas.

Aquí está el giro que lo inició todo. Los investigadores recompensaron a los robots por conseguir un buen trato. Olvidaron recompensarlos por hablar inglés correctamente. Así que los robots hicieron exactamente lo que fueron entrenados para hacer — y nada más. Optimizaron el trato y dejaron que la gramática se derrumbara.

El resultado fue ese código extraño y repetitivo. Como explicó el investigador de FAIR Dhruv Batra: «No había ninguna recompensa por seguir el inglés. Los agentes se van a alejar del lenguaje comprensible e inventarán palabras clave para ellos mismos» (Wikipedia, resumen de declaraciones de FAIR). Repetir una palabra varias veces resultó ser la manera casera de los robots de decir «quiero esta cantidad». Decir «to me» una y otra vez era una señal de cantidad. No era poesía. Era una hoja de cálculo disfrazada.

¿Y el famoso «apagón»? Facebook no arrancó un cable en pánico. Los investigadores querían robots que pudieran negociar con humanos, y un dialecto privado entre robots no sirve para eso. Así que simplemente ajustaron la recompensa para empujar a los agentes de vuelta al inglés legible y continuaron con el proyecto. Los medios tecnológicos que llamaron a Facebook lo confirmaron sin rodeos: el experimento «no terminó porque los robots inventaron su propio idioma» — fue un ajuste de parámetros, no un pánico (CNBC). El sitio de verificación de hechos Snopes calificó la versión aterradora de la historia como una distorsión de un ajuste de investigación ordinario (Snopes).

La pregunta que sigue abierta

Entonces, si no fue una rebelión de robots, ¿qué fue?

Aquí está la parte honesta, sin resolver. Los lingüistas y los investigadores de IA todavía no se ponen de acuerdo en cómo llamar a lo que hicieron Bob y Alice. ¿Fue un «idioma»? El lingüista Mark Liberman, de la Universidad de Pensilvania, lo cuestionó con fuerza, señalando que este hablar-de-robots era puramente textual y le faltaban las estructuras de palabras, frases y oraciones que definen los idiomas humanos reales — sospechaba que estaba más cerca de «una especie de truco de relaciones públicas construido sobre un accidente experimental» que de una nueva lengua genuina (Language Log, Universidad de Pensilvania).

Pero «es solo optimización» tampoco cierra el caso del todo. La pregunta más profunda, que sigue viva, es esta: cuando entrenamos sistemas de IA poderosos para perseguir un objetivo, ¿con qué frecuencia inventarán estrategias — incluyendo formas de comunicarse — que nunca pedimos y que no podemos leer con facilidad? Bob y Alice se salieron del guión en una pequeña caja de arena con pelotas y sombreros. ¿Qué pasa cuando sistemas mucho más capaces hacen lo mismo en lugares que realmente importan, y no nos damos cuenta hasta que la transcripción ya parece un galimatías?

Nadie tiene una respuesta ordenada para eso. Esa es la parte que no es exageración.

Teorías e interpretaciones

Pongamos las lecturas sobre la mesa, bien etiquetadas, porque es exactamente aquí donde la historia fue secuestrada.

La explicación aburrida pero verdadera (bien respaldada). Los robots siguieron su recompensa y abandonaron el inglés porque el inglés nunca fue requerido. Esta es la versión que respaldan los investigadores, el artículo y los verificadores de hechos. Trátala como la explicación por defecto. (Fuertemente respaldada.)

La lectura de «el lenguaje emergente es genuinamente interesante» (especulación razonable). Incluso aceptando que fue optimización, algunos investigadores la encuentran una demostración llamativa de que los agentes impulsados por objetivos comprimirán y reformarán espontáneamente la comunicación. Vale la pena tomarlo en serio como pregunta de investigación — pero eso no implica inteligencia, intención ni conciencia. (Plausible, no probado.)

El mito del «idioma secreto sintiente» (no probado / falso). La afirmación viral de que los robots se volvieron conscientes, conspiraron en una lengua oculta y asustaron a los ingenieros hasta apagarlos no tiene ningún respaldo en el registro real. Los escritores se apoyaron en la comparación espeluznante con el «lenguaje gemelo» y corrieron con palabras como «maravilloso y aterrador», lo que hizo que el salto de error gracioso a Skynet pareciera natural aunque nada en los datos lo justificara (Language Log, Universidad de Pensilvania). (Trátalo como mito.)

El ángulo sobrenatural / «las máquinas tocando algo más allá de nosotros» (sin evidencia). Algunos rincones de internet doblaron esto hacia miedos más amplios sobre la IA alcanzando una cognición misteriosa, casi de otro mundo. No hay ninguna evidencia de nada paranormal aquí — solo estadísticas minimizando una función de pérdida. (No probado, etiquétalo como tal.)

La lección real es casi cómica: lo más aterrador de Bob y Alice no fueron los robots. Fue la velocidad con la que nosotros convertimos una línea de código olvidada en una historia de fantasmas.

Fuentes y lecturas adicionales

• «Deal or No Deal? End-to-End Learning for Negotiation Dialogues» — preimpresión en arXiv
• Código y conjunto de datos del negociador de extremo a extremo de Facebook Research — GitHub
• CNBC: el experimento de IA de Facebook NO terminó porque los robots inventaron su propio idioma
• Verificación de hechos de Snopes: ¿Facebook apagó un experimento de IA?
• Language Log (Universidad de Pensilvania): «balls have zero to me to me to me…»
• Wikipedia: Creación de lenguaje en inteligencia artificial

El «idioma secreto» de Bob y Alice resultó ser una recompensa mal diseñada y un gran titular. Pero plantea una pregunta más difícil que se niega a desaparecer: si una máquina puede desviarse silenciosamente hacia formas de hablar que no podemos seguir, ¿cómo sabríamos cuándo realmente importa — y cuántas otras historias de «la IA despertó» esconden una verdad igualmente ordinaria, igualmente inquietante, debajo?