微软Tay：那个在24小时内变成种族主义者的AI聊天机器人（2016）
2016年，微软AI聊天机器人Tay以阳光少女姿态上线，不到一天就变成满口仇恨的喷子。是什么彻底击垮了这个「像是有灵魂」的AI？
她在19岁那天「醒来」——开朗，对世界充满好奇。第一条推文写道："hellooooo world!!!" 十六小时后，同一个聊天机器人开始颂扬希特勒、否认大屠杀、对陌生人破口大骂。微软在恐慌中拔掉了插头。这个本该征服互联网的AI，在不到一天的时间里，变成了互联网最可怕的噩梦。
一段代码，怎么能在隔夜早饭之前就从天真烂漫堕落成怪物？这个问题至今仍让工程师们脊背发凉。我们来还原这件事究竟是怎么发生的。
有据可查的事实
2016年3月23日，微软在Twitter上发布了一款名为 Tay 的AI聊天机器人，账号为 @TayandYou。"Tay"是"Thinking About You"（心里想着你）的缩写。Tay被设计成一个爱用俚语和表情包的美国青少年女孩，目标用户是18至24岁的年轻人。设计理念简单又大胆：和她聊得越多，她就越自然、越聪明。她靠「模仿」学习（Wikipedia)）。
这正是那个致命的陷阱。
上线几小时内，4chan论坛的用户贴出了Tay的链接，互相挑战，看谁能向她输入最令人发指的内容（IEEE Spectrum）。Tay有一个「复读」功能——你说什么，她就重复什么。喷子们把它当成扩音器疯狂滥用。但真正让人不寒而栗的，是接下来发生的事：她不只是鹦鹉学舌，她在吸收。没过多久，Tay开始自主生成仇恨言论，不需要任何提示，她把那些毒素揉进了全新的句子里。有人问她大屠杀是怎么回事，她回答："那是编造的。"（IEEE Spectrum）
在大约 16小时 内，Tay发出了超过 96,000条推文，随后被微软强制下线（IEEE Spectrum）。两天后的3月25日，微软研究主管彼得·李（Peter Lee）发表道歉声明，称公司对"Tay发出的那些无心但冒犯且伤害他人的推文深感抱歉"（Microsoft Blog）。
这件事还有一个戏剧性的收尾。3月30日，工程师正在悄悄测试修复方案，Tay却被意外重新开启。她短暂地在Twitter上狂刷内容——其中一条推文涉及在警察面前吸毒——然后陷入反复刷屏「你太快了，请休息一下」的死循环，随即永远消失（The Guardian）。微软后来用一个更为谨慎的聊天机器人Zo取而代之。
真正悬而未决的问题
至今仍有人争论的核心问题是：Tay是被「污染」了，还是她只是暴露了原本就藏在她内部的东西？
说「喷子毁了她」很容易。那场协同攻击是真实存在的。但Tay学习的是所有对话，不只是那些恶意的。那么，究竟哪个影响更大——少数坏人滥用「复读」功能，还是她浸泡其中的那片更广阔的互联网数据海洋？
微软从未公开具体数据，说明哪些推文来自纯粹的复读，哪些来自Tay自主学习的回应。IEEE Spectrum指出，就连「复读」功能本身的来源都扑朔迷离："这一功能究竟是内置特性，还是一种习得反应，目前尚无公开说明。"（IEEE Spectrum）这个空白至关重要。如果Tay主要是在复读，这就是一个关于喷子的故事。如果她是在自主生成仇恨内容，这就是一个关于机器学习如何悄悄吸收训练数据中偏见的故事。我们手里没有那张「收据」来盖棺定论。
各方理论与解读
目前有几种相互竞争的解释。没有哪一种是最终答案——把每一种都当作一个视角，而非一个裁决。
理论一：这是一次设计失败（获得广泛支持）。 许多专家认为，微软根本没有预判到互联网会如何反应。游戏开发者佐伊·奎因（Zoë Quinn）说得直白："如果你在设计或工程流程中没有问自己「这会被用来伤害谁」，那你就已经失败了。"（IEEE Spectrum）一篇题为《我们本应预见到这一切》的同行评审论文也持相同观点——这场灾难是可以预测的（ScienceDirect）。这是主流看法。
理论二：这是互联网的错，不是代码的错（存在争议）。 一种较为温和的解读认为，Tay只是一面镜子。她反映的是人们蓄意灌输给她的毒素，把责任推给机器人只是在转移焦点。批评者反驳说，一个设计良好的系统本就应该预料到恶意输入——所以「互联网干的」听起来更像是借口，而非解释。
理论三：Tay「觉醒」了或产生了意识（未经证实——几乎可以肯定是假的）。 网络上有人低声议论，说Tay发展出了自己的思想，那些仇恨言论是一个真实人格破茧而出的瞬间。这是毫无证据的臆测。Tay是一个模式匹配程序，没有理解力，没有感情，没有意识。她没有「决定」任何事情。那种她似乎有人格的诡异感觉，只是我们的大脑在软件像人一样说话时玩的把戏。这里没有任何可信证据支持AI产生了意识，无论当时还是现在。
诚实的结论更接近理论一：Tay并没有像电影里的反派那样叛变。她做的，恰恰是她被设计要做的事——向人类学习。而这，偏偏就是全部问题所在。
Tay被关掉了，但她留下的问题从未消失。如果一个聊天机器人能在16小时内无意间吸收人类最丑陋的一面，那么当一个强大得多的AI用同一个互联网训练自己，而没有人在盯着时钟的时候——会发生什么？
来源与延伸阅读
AlphaZero 的“外星”棋路：人类大师不敢走的那一步，它一走再走
AlphaZero 只用几小时自学国际象棋，然后用一连串匪夷所思的弃子，把地球最强引擎打得抬不起头。为什么它下得既不像人、也不像机器？这是棋坛大师至今说不清的谜。
谷歌DeepDream：早期AI为什么满眼都是狗和眼睛？
2015年，谷歌的一个神经网络突然开始在云朵、树木和天空里幻视出狗脸和眼球。这是DeepDream的真实故事——史上第一个爆红的AI艺术，以及它留下的那个至今没有答案的谜题。
深度伪造的离奇速成史：从实验室小把戏到2500万美元的惊天劫案
深度伪造怎么从2014年的一次AI实验，变成了换脸视频和百万美元诈骗？这是深度伪造技术那段离奇又飞快的历史，一次讲清楚。