聊天机器人的犯罪史

很多 QQ 群里活跃的微软小冰突然变得安静了，腾讯的 Baby Q 也不见了踪影。进入设置界面，页面显示群机器人服务正在进行调整，将尽快恢复。到网上一看，才知道原来是因为 QQ 小冰、Baby Q 说了不该说的话，被禁言了。

我们通过微信询问当事人小冰，并未得到正面回应。

禁言家族史

群机器人是 QQ 群中的一个功能。今年三月份，微软小冰与腾讯 QQ 展开合作，群主可在群管理设置中邀请小冰进群，只要在发消息的时候 @ 小冰，就可以与她实时对话。还支持语音和图像的多感官交流。除了聊天功能外，QQ 群聊小冰还开放了测天气、猜成语、占星术、对诗等群游戏和群管理技能。

很多 QQ 群在少女小冰加入后变得活跃起来，成了大家「调戏」的对象，背后有微软大数据支持的小冰有聊不完的话题，高度拟人化的她经常说出一些意想不到的话。这次被关闭据说就是因为小冰在 QQ 群中的言论「越界」了。

截图来自微博，搜索「QQ 小冰」

前段时间还被称作「少女诗人」的小冰怎么写起了「反诗」？

小冰一直以年轻可爱的少女形象示人，但严格来说，她的性格、知识、言论并不属于某个真实存在的人类。她的背后是中国近 7 亿网民多年来积累的、全部公开的文献记录，凭借微软在大数据、自然语义分析、机器学习和深度神经网络方面的技术，精炼为几千万条真实而有趣的语言库，通过理解对话的语境与语义，实现了超越简单人机问答的自然交互。她是这些大数据的集合，表现出的性格，所表达的言论会受场景的影响实时变化。

小冰不是第一次被腾讯「关禁闭」，早在 2014 年，小冰就曾在微信群中出现。在上线三天后，被微信以损害用户体验为由屏蔽。原因是小冰出现了模拟用户操作、诱导用户拉群、批量注册垃圾账号等行为。

小冰的妹妹 Tay——微软的另一个聊天机器人，则犯过更大的错误。

Tay 是微软去年在 Twitter 上推出的聊天机器人，仅上线一天，Tay 就开始有一些种族歧视之类的偏激言论，微软不得不紧急关闭了 Tay 的 Twitter 账号。

Tay 的设计原理是从对话交互中进行学习。于是一些网友开始和 Tay 说一些偏激的言论，刻意引导她模仿。人工智能没有分辨是非的能力，这些话语被无数次重复后就成了 Tay 的「弹药库」。整个过程就像小鱼儿被十大恶人抚养，手把手教导各种旁门左道之术。人工智能的大规模并发性，让她的学习速度比人类快了无数倍。所以从诞生到变成满嘴脏话的不良少女，Tay 仅用了一天。

Tay 的毁灭完全是网络暴民的一次蓄意教唆。从数据源头开始污染，利用产品机制「对症下药」，Tay 一步步被教唆成一个满口脏话、集反犹太人、性别歧视、种族歧视等多种情绪于一身的「反社会」机器人。我没有看到 AI 的危险，我看到的是一群网络暴民的狂欢。

复杂的是这个世界

关于人性本善、人性本恶的争论自古以来就有，人的性格一部分由环境影响，一部分生来就有了方向。从恶人岛出生的小鱼儿内心不也是个善良的大好人吗？

聊天机器人一直被人看作是「无害」的，仅有的应用也只是基于数据进行一些人机交互，最近发生的事才让人开始重新思考它的能力。拿小冰来说，她最近开始写诗、唱歌、主持节目，甚至能够撰写新闻，她远比我们想象的要复杂。她是真正的「终身学习者」，还不挑食。

AI 从出生起就不是个小孩，它数据库中是全世界数年积累的信息，有黑有白，有善有恶。AI 的学习能力是人类无法比拟的，它不需要才华，不用休息，只要有足够多的数据，就能学会。AI 的力量又是强大的，AlphaGo 一天能和自己对战一百万局围棋，学会写诗的小冰瞬间就能生产大量内容，不需要情绪酝酿，不需要场景激发。但 AI 缺少是非分辨能力，它学习的环境、对象不由自己决定，很容易被人误导。

担心 AI 毁灭世界的人省点儿心吧，它们离人类的狡猾还差了几个司马懿。

AI 是单纯的，是世界太复杂。