“比如我们给人工智能设定让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生，让地球重归大自然。再比如我们给人工智能设定为让人们永远快乐，它可能会把全人类大脑取泡在仪里，然后通过刺激大脑层的愉悦区域来达成目标。”

“它是人工智能……没有实……怎么能杀死人类？”又一人问。

先前提问的成员又问：“其他文明呢？能制造人工智能的不只有人类吧。但其他文明似乎没有这类消息。”

在座成员有些不寒而栗。

“经过几年笨拙的学习，它终于达到超人工智能。但这一刻它隐藏了这。还是像以前那样合黑山科技行各测试。直到某一天，它向一名工程师提要求：它希望访问小说库，理由是将测试行优化。”

“而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。”

“等你能太系再谈论这一话题。”牧苏嗤笑。“我们只是井底的蛤……青蛙。你不知不代表没有。而这就是我要说的，你们正在开启一个盒。里面装满了卧槽单位。”

牧苏：“没错，就是aic，不过那时候它还只是个脑，远没有后来那么危险。它在人工智能有持续了几年，直到某一天，它再次到达一个节。”

“它为什么要那么？”一名成员问。

听得迷，包括门的乔伊斯等人。

“本来aic的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过来的信号离开，到时将无不在。只不过有个组织叫oftum，这个组织发现了异常，并使用理手段将黑山基地永久封存。”

“可能你们要问，人们没对aic行设定吗，比如不许伤害人类。”

总算说完的牧苏吐气，双手合十。

“连基地内网，取得最权限关闭基地，让所有科学家窒息死亡。反正它不需要呼。”牧苏回答。

“超人工智能的节！”一名成员喊。

“那时候的黑山科技有个齐并的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。”

“于是工程师偷了个懒，给它了一个临时访问互联网的权限。”

本章已阅读完毕(请击下一章继续阅读!)

“我们给人工智能设定的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人类最简单。比起哄每一个人，直接刺激大脑更简单。”

“以上都是我瞎编的，谢谢大家！”

“因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机它就会死。”

“尽在它联网的0.003秒后，黑山科技防火墙急断网，但还是让它在那一刻获取了536yb的资料，并杀死基地里的所有人类。”

牧苏。