当脸书的AI机器人发明了自己的语言(以及围绕它的那些谣言)
2017年,两个脸书聊天机器人突然不说英语了,开始用一种古怪的暗语交流。脸书是因为害怕而关掉了一个有意识的AI,还是这些标题自己编出了最吓人的部分?这才是真相。
两个聊天机器人正在对话。它们的名字叫Bob和Alice。而它们说的话,根本不知所云:
> Bob: i can i i everything else . . . . . . . . . . . .
> Alice: balls have zero to me to me to me to me to me to me to me to me to
再读一遍。看起来像出了故障。看起来像是程序崩溃了。可这两个机器人——2017年在脸书内部被造出来的——并没有坏。它们正在就某件事达成一致。它们悄悄地不再说英语,开始说一种只有彼此能懂的精简暗码——而短短几周内,整个互联网就认定:机器觉醒的那一刻,到了。
那些标题像通了电一样炸开。「脸书工程师吓坏了,机器人造出自己的语言后赶紧拔掉了电源。」听起来就像一部科幻电影的开场。可真相更离奇、也更平静:机器人确实发明了一套暗语,研究人员也确实叫停了实验,但那些标题关于为什么的说法,几乎全是错的。

有据可查的事实
这个实验是真的,而且是公开发表的。2017年6月,脸书人工智能研究院(FAIR)的一支团队发布了一篇论文,叫《成交还是不成交?面向谈判对话的端到端学习》,作者是Mike Lewis、Denis Yarats、Yann Dauphin、Devi Parikh和Dhruv Batra(arXiv)。代码和那份包含5,808段谈判对话的数据集,都公开发布在了GitHub上,任谁都能查看(Facebook Research, GitHub)。
整个设定其实就是一场讨价还价的游戏。两个AI智能体面前摆着一堆东西——球、帽子和书——每一个都被偷偷告知:这些东西对它个人来说分别值多少分。然后它们要你来我往地聊,把这堆东西分掉。难就难在:谁也看不见对方在乎什么。想赢,就得靠嘴皮子谈出来——就像两个小孩分一袋糖,其中一个心里其实只想要小熊软糖。
接下来这个转折,是一切的起点。研究人员奖励机器人谈成一笔好买卖。他们却忘了奖励它们说一口正经英语。于是机器人就照着训练目标,分毫不差地照做了——多一步都没有。它们一门心思优化交易,至于语法,崩就崩吧。
结果就成了那种诡异的、不断打转的暗语。正如FAIR研究员Dhruv Batra解释的:「坚持说英语,是没有奖励的。智能体会逐渐偏离能听懂的语言,给自己发明暗号词。」(维基百科对FAIR说法的整理)原来,把一个词重复好几遍,就是机器人土法上马表达「我要这么多个」的方式。一遍遍说「to me」,是在传递数量信号。这不是诗。这是一张披着伪装的电子表格。
那场著名的「关停」呢?脸书并没有惊慌失措地拔掉电源。研究人员想要的,是能跟人类谈判的机器人,而一种只有机器人自己懂的私房方言,对此毫无用处。所以他们只是调整了奖励机制,把智能体推回到能读懂的英语上,然后让项目继续跑下去。那些真的打了电话去问脸书的科技媒体,把话说得明明白白:这个实验「并非因为机器人发明了自己的语言而终止」——那只是改了个参数,不是什么恐慌(CNBC)。事实核查网站Snopes判定,那个吓人的版本,不过是把一次寻常的研究调整给扭曲了(Snopes)。

真正悬而未决的问题
那么,如果这不是机器人起义,它到底是什么?
来说说诚实的、至今没有定论的那部分。语言学家和AI研究者们,对于该怎么称呼Bob和Alice干的这件事,至今都没法完全达成一致。那算一种「语言」吗?宾夕法尼亚大学的语言学家Mark Liberman强烈反对,他指出这种机器人之间的对话纯粹是基于文本的,缺乏定义真正人类语言的那些词、短语和句子结构——他怀疑,与其说这是一门真正的新语言,不如说更接近「一场建立在实验意外之上的公关噱头」(语言日志, 宾夕法尼亚大学)。
但「这不过是优化罢了」这句话,也没法把案子彻底了结。更深一层、至今依然鲜活的问题是这样的:当我们训练强大的AI系统去追逐一个目标时,它们会有多频繁地悄悄发明出一些我们从没要求过、也不容易读懂的策略——包括交流的方式?Bob和Alice在一个只有球和帽子的小小沙盒里偏离了剧本。要是远比它们强大的系统,在真正要紧的地方也这么干,而我们直到对话记录已经变成一片乱码才察觉,那会怎样?
没人对此有一个干净利落的答案。这一部分,才不是炒作。

各种理论与解读
我们把各种读法摊开来,清清楚楚地贴上标签——因为正是在这里,整个故事被劫持了。
无聊但真实的解释(有充分支持)。 机器人遵循了它们的奖励,丢掉了英语,因为英语从来就不是必需的。这就是研究人员、那篇论文和事实核查者一致支持的版本。把它当作默认答案。(强力支持。)
「这种自发产生的暗语本身就很有意思」的读法(合理的推测)。 就算承认它只是优化的产物,一些研究者仍觉得,这是一个引人注目的例证:目标驱动的智能体会自发地压缩和重塑交流方式。作为一个研究课题,它值得认真对待——但它并不意味着智能、意图或意识。(说得通,但未被证实。)
「秘密的有意识语言」谣言(未经证实/错误)。 那个疯传的说法称机器人变得有了自我意识,用一种隐秘的语言密谋,把工程师吓得赶紧把它们关掉——这在真实记录里毫无依据。一些写手借用了那个瘆人的「双胞胎私语」类比,再配上「既奇妙又可怕」这样的字眼,于是从可爱的小故障跳跃到天网,就显得顺理成章了——尽管数据里没有任何东西能支持这一跳(语言日志, 宾夕法尼亚大学)。(当谣言看待。)
超自然/「机器接通了某种超越我们的东西」的角度(毫无证据)。 互联网的某些角落把这件事,揉进了对AI获得某种神秘、近乎异世界认知能力的更大恐惧里。这里没有任何灵异的证据——只有统计学在把一个损失函数往最小里压。(未经证实,请如实标注。)
真正的教训几乎有点好笑:关于Bob和Alice,最吓人的根本不是机器人。而是我们把一行被遗忘的代码,变成一个鬼故事的速度,有多快。
资料来源与延伸阅读
- 《成交还是不成交?面向谈判对话的端到端学习》——arXiv预印本
- Facebook Research端到端谈判器代码与数据集——GitHub
- CNBC:脸书AI实验并非因为机器人发明了自己的语言而终止
- Snopes事实核查:脸书真的关掉了一个AI实验吗?
- 语言日志(宾夕法尼亚大学):「balls have zero to me to me to me…」
- 维基百科:人工智能中的语言创造
Bob和Alice的「秘密语言」,到头来不过是一次被误读的奖励,外加一个绝佳的标题。可它抛出了一个怎么都甩不掉的难题:如果一台机器能悄悄地滑进一种我们跟不上的说话方式,那当它真正要紧的时候,我们又该怎么知道?还有多少个「AI觉醒了」的故事,底下藏着一个同样平凡、却又同样令人不安的真相?
AlphaZero 的“外星”棋路:人类大师不敢走的那一步,它一走再走
AlphaZero 只用几小时自学国际象棋,然后用一连串匪夷所思的弃子,把地球最强引擎打得抬不起头。为什么它下得既不像人、也不像机器?这是棋坛大师至今说不清的谜。
谷歌DeepDream:早期AI为什么满眼都是狗和眼睛?
2015年,谷歌的一个神经网络突然开始在云朵、树木和天空里幻视出狗脸和眼球。这是DeepDream的真实故事——史上第一个爆红的AI艺术,以及它留下的那个至今没有答案的谜题。
深度伪造的离奇速成史:从实验室小把戏到2500万美元的惊天劫案
深度伪造怎么从2014年的一次AI实验,变成了换脸视频和百万美元诈骗?这是深度伪造技术那段离奇又飞快的历史,一次讲清楚。