神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

(资料图)

编者按：在电影和小说中，我们看到过人工智能统治人类的场景，并认为这离我们很遥远。但实际上，随着人工智能的发展，对人工智能的担心可能不再是杞人忧天。本文来自编译，希望对您有所启发。

PHOTO-ILLUSTRATION: WIRED STAFF; GETTY IMAGES

本文改编自布鲁斯·施奈尔（Bruce Schneier）的《黑客思想》（A Hacker’s Mind）。

《黑客思想》（ A Hacker’s Mind: How the Powerful Bend Society’s Rules, and How to Bend Them Back）的封面，图片来源：COURTESY OF W. W. NORTON & COMPANY

人工智能黑客的未来有多现实？这取决于被建模和被黑客攻击的特定系统。对于人工智能来说，所有规则都必须以计算机能够理解的方式规则化。目标（在人工智能中被称为目标函数）需要建立起来，人工智能需要得到关于“自己做得如何”的反馈，才能提高自身的表现。

有时这是只一件小事。对于围棋这样的游戏来说，这很简单。规则、目标和反馈（赢了还是输了？）都是精确指定的，除此之外没有什么模糊地带。GPT-3 人工智能可以写出连贯的文章，因为它的“世界”就只有文本。这就是为什么目前大多数黑客的例子都来自模拟环境，因为这些环境都是人为的和受约束的，所有规则都是指定给人工智能的。

重要的是系统中的模糊程度。我们可以想象将世界各地的税法输入人工智能，因为税法是由确定欠税金额的公式组成的。甚至还有一种编程语言叫 Catala，它被优化来编码法律。即便如此，所有的法律都有一些模糊性。这种模糊性很难转化为代码，所以 AI 很难处理。所以尽管存在人工智能，但在可预见的未来，税务律师还是可以实现充分就业。

大多数人类系统甚至更加模糊。很难想象一个人工智能，能在现实生活中做出像弯曲曲棍球棒这样的运动技巧。人工智能不仅要理解游戏规则，还要理解人类生理机能、球杆和冰球的空气动力学，等等。这并非不可能，但这比想出一个新颖的围棋走法要困难得多。

在复杂的社会系统中，这种潜在的模糊性为对抗人工智能黑客提供了短期的安全防御。在机器人真正参与这些运动之前，或者在开发出能够在所有交叉维度上广泛理解世界的通用人工智能之前，我们不会有人工智能生成的“体育黑客”。“赌场游戏黑客”或“立法程序黑客”也存在类似的挑战。人工智能还需要很长一段时间才能能够建模和模拟人们的工作方式，无论是个人还是群体。

但是，尽管一个充满人工智能黑客的世界仍然是一个科幻小说中的场景，但这并不只是一个愚蠢的科幻小说问题。人工智能技术的发展非常迅猛，其能力的飞跃是不稳定和间断的。我们认为很难的事情可能变得很容易，我们认为应该很容易的事情也可能变得很难。上世纪 80 年代初，当我还是一名大学生时，老师告诉我们，围棋永远不可能被计算机掌握，因为它非常复杂：不是规则复杂，而是可能的走法数量太多。而今天，人工智能变成了围棋大师。

因此，虽然人工智能可能主要是“明天的问题”，但我们今天已经看到了它的前兆。我们现在就需要开始思考可执行的、可理解的、合乎道德的解决方案，因为如果我们对人工智能有什么期待的话，那就是我们会比预期中更早地需要这些解决方案。

产生人工智能黑客的第一个地方可能是金融系统，因为这些金融规则在设计上是可以用算法处理的。高频交易算法就是一个原始的例子，其在未来会变得更加复杂。我们可以想象一下这样一个场景：给人工智能配备世界上所有的实时金融信息，加上世界上所有的法律法规，加上新闻推送和所有我们认为可能相关的东西，然后给它设定“合法利润最大化”的目标。我的猜测是，这个场景并不会很遥远，其结果将是产生各种新奇的和完全意想不到的黑客行为。而且可能会有一些黑客行为超出人类的理解范围，这意味着我们永远不会意识到这些行为正在发生。

在短期内，我们更有可能看到人工智能与人类协作的黑客行为。人工智能可以识别出可能被黑客利用的漏洞，然后一个有经验的会计师或税务律师会利用他们的经验和判断力，来确定该漏洞是否可以被利用而获利。

在几乎所有的历史中，黑客攻击都是一种人类活动。进行新的黑客行为需要专业知识、时间、创造力和运气。而当人工智能开始进行黑客攻击时，情况就会发生变化。人工智能不会像人一样受到同样的约束或受到同样的限制。它们不需要睡觉，它们会像外星人一样思考，它们会以我们无法预料的方式入侵系统。

计算机已经在四个方面加速了黑客攻击：速度、规模、范围和复杂性。人工智能将进一步加剧这些趋势。

首先，速度：人工入侵的过程有时需要几个月或几年，但人工智能的加入可能会将时间压缩到几天、几个小时，甚至几秒钟。如果你给人工智能提供整个美国税法，并命令它找出所有可以最小化个人税赋的方法时，可能会发生什么？或者，在针对跨国公司的情境下，让人工智能分析和优化全球的税法呢？人工智能能否在没有提示的情况下，发现在特拉华州注册公司并在巴拿马注册船舶是明智的做法？它会发现多少我们还不知道的漏洞？几十个？几百个？几千个？我们不知道，但我们可能会在未来十年内找到答案。

其次，规模：一旦人工智能系统开始进入黑客领域，它们就将能够大规模利用黑客行为，而这种规模对人类来说是根本没有准备好应对的。因此，当人工智能开始挤压金融系统时，它们将主导这个领域。美国的信贷市场、税法和法律总体上已经向富人倾斜，而人工智能将加速这种不平等。第一批为了追求利润而入侵金融系统的人工智能，不会由具有平等意识的研究人员开发出来，而将由全球性银行、对冲基金和管理咨询公司开发出来。

接下来，范围：我们有应对黑客的社会系统，但这些系统是在黑客还是人类的时候开发的。我们没有任何治理系统可以快速有效地对数百个（更不用说数千个）新发现的税收漏洞进行裁决。我们不可能这么快就给税法打补丁。我们一直无法阻止人类利用 Facebook 来干扰民主，那么想象一下当人工智能这样做的时候会发生什么，这会带来巨大的挑战。如果人工智能开始对金融系统进行意料之外、但合法的黑客攻击，那么世界经济将陷入疯狂，复苏将是漫长而痛苦的。

最后是复杂性：人工智能辅助黑客打开了复杂策略的大门，超越了那些可以由人类独立思维设计的策略。人工智能的复杂统计分析可以揭示变量之间的关系，从而揭示可能的漏洞，而最好的人类战略家和专家可能从未意识到这一点。这种复杂性可能使人工智能能够部署颠覆目标系统多个层面的战略。例如，一个旨在最大限度地提高政党得票率的人工智能可能会调整经济变量、竞选信息和投票程序，从而操纵竞选结果。这还不包括人工智能用来操纵股市、立法制度或公众舆论的那些难以察觉的技巧。

以计算机的速度、规模、范围和复杂性，黑客将成为我们这个社会无法再处理的问题。

我想起了电影《终结者》（Terminator）中的一个场景，凯尔·里斯（Kyle Reese）向莎拉·康纳（Sarah Connor）描述正在追杀她的生化人：“不能和它讨价还价，不能和它讲道理。它不会感到怜悯、悔恨或恐惧。而且它绝对不会停止，永远不会……”我们现在面对的并不是真正意义上的生化人，但当人工智能成为我们在黑客世界中的对手时，我们可能会发现，要跟上它寻找人类弱点的非人能力，同样是件困难的事。

一些人工智能研究人员确实在担心强大的人工智能会在多大程度上克服人类施加的限制，并有可能主宰社会。虽然这看起来像是一个疯狂的猜测，但这种情况至少是值得考虑和预防的。

然而，在今天和不久的将来，这本书中描述的黑客行为将由强者对我们其他人实施。所有的人工智能，无论是在你的笔记本电脑上还是在机器人中，都是由其他人编写的。虽然像 Alexa 这样的联网设备可以模仿成为你值得信赖的朋友，但不要忘记，它是为了销售亚马逊的产品而设计的。就像亚马逊网站鼓励你购买其自有品牌，而不是竞争对手的高质量商品一样，它并不总是符合你的最佳利益。

在缺乏任何有意义的监管的情况下，我们真的无能为力，无法阻止人工智能黑客入侵的发生。我们需要接受这是不可避免的，并建立强大的治理结构，快速有效地做出反应。

这一挑战提出了比“人工智能将如何发展或我们如何应对”更深刻、更困难的问题：哪些黑客行为是有益的？哪些是有害的？谁来决定呢？你可能仍然不想用技术霸主取代政治霸主。如果你相信预防原则，那么在黑客被纳入社会系统之前，你可能希望有尽可能多的专家来对其进行测试和判断。你还可能想要将这一原则进一步应用到使这些黑客成为可能的机构和结构上。

问题还在继续。人工智能创造的黑客应该在本地范围内进行管理，还是全球范围内进行管理？由管理者管理还是由公民投票？或者有没有办法让市场或民间团体来决定？我们设计的治理结构将赋予一些人和组织权力，来决定如何应对未来的黑客。我们需要确保这一权力被明智地行使。

译者：Jane

关键词：