技术人工智能技术事故

　　现代机器学习在很多方面都很强大，但在其他方面却非常脆弱。由于这种脆弱性，即使是最先进的人工智能工具也可能无法预料地失败，潜在地破坏嵌入它们的系统。随着机器学习成为从汽车和飞机到金融市场、发电厂、医院和武器平台的关键现实系统的一部分，人工智能事故的潜在人力、经济和政治代价将继续增加。
　　决策者可以帮助降低这些风险。为了支持他们的努力，这篇简介解释了人工智能事故是如何发生的，以及他们看起来像＂野外＂的样子。使用假设场景，包括已经存在或即将出现的AI功能，我们解释了AI故障的三种基本类型——鲁棒性故障、规范故障和保证故障——并突出了使它们更可能发生的因素，如快节奏操作、系统复杂性和竞争压力。最后，我们提出了一套初步的政策行动，以减少AI事故的风险，使AI工具更值得信赖，对社会更有益，并支持一个更安全、更丰富、更健康的AI未来。政策制定者应该：
　　促进关于人工智能事故和未遂事故的信息共享，与私营部门合作建立关于人工智能何时以及如何失败的共同知识基础。
　　投资人工智能安全研发，这是一个关键但目前资金不足的领域。
　　投资人工智能标准开发和测试能力，这将有助于开发确保人工智能系统安全可靠所需的基本概念和资源。
　　通过研发联盟和政府间组织等途径，努力跨界减少事故风险。
　　【目录】
　　摘要
　　1. 什么是人工智能事故？
　　2. 人工智能事故是什么样子的？
　　鲁棒性
　　规格
　　保证
　　3. 什么时候人工智能事故更可能发生？
　　4. 怎么办
　　1. 什么是人工智能事故？
　　我们即将迎来一场新的工业革命。人工智能——机器推理、沟通和决策的能力——将是它的中心。过去几年的技术成就，尤其是在人工智能的机器学习子领域，已经产生了更强大的人工智能系统。机器人和网络等互补领域的进展，正在解开这些系统的新的现实应用，从自动战斗机到由计算机编写的小说，从优化的药物到新颖的AI。
　　在接下来的几年里，人工智能预计将渗透到我们的生活中，就像20世纪的电力和二十一世纪的互联网一样。托马斯·爱迪生于1880年获得他的灯泡专利，直到1925年才使美国一半的家庭电气化。
　　部署人工智能是一个持续的过程，有着巨大的希望——同样有着巨大的危险。今天的尖端人工智能系统在许多方面都很强大，但在其他方面却非常脆弱。他们往往缺乏任何常识的外表，很容易被愚弄或破坏，并以意想不到和不可预测的方式失败。
　　要理解为什么他们那样做，往往很难或不可能。
　　尽管存在这些问题，人工智能系统正在以预计会在未来十年加速的速度融入现实世界。这些系统可能是脆弱的，但随着公司、政府和军队决定何时以及如何部署它们，它们巨大的潜在利益往往会掩盖不确定的风险。这些组织的领导人也可能没有充分意识到这些风险，并且可能面临愿意迅速采取行动的竞争对手的压力。
　　确切地说，一些行业已经在部署人工智能，比其他行业快得多，一些敏感行业可能在一段时间内＂被隔绝＂。但最终，推动AI今天蔓延的强大激励措施可能会让它变得普遍。随着我们的经济、安全和健康越来越依赖人工智能系统，这些系统的脆弱性将危及生命。
　　今天，许多人担心人工智能被故意滥用。对手可以用成群的无人机进行攻击；威权政府已经在使用人工智能算法进行基于种族或意识形态的歧视。这些风险是真实的，值得注意。
　　但是，意外的AI灾难也是一个紧迫的问题。与AI有关的事故已经成了头条新闻，从造成虚假逮捕的不准确的面部识别系统，到通过机器学习软件进行意想不到的种族和性别歧视。这尤其引人注目，因为到目前为止，AI主要部署在看似风险较低的环境中，比如新闻稿排名、广告瞄准和语音识别，而在自主驾驶等风险较高的领域部署较少。
　　尽管最初发生了这些事故，但政府、企业和军队正准备在世界各地的关键系统中使用当今存在缺陷、脆弱的人工智能技术。未来版本的AI技术可能不太容易发生意外，不过这还不能保证——不管，如果按预期继续推出，之前版本的AI技术可能已经大规模部署。未来几十年，2020年的机器学习模式仍然可以轻松使用，就像航空公司、证券交易所和联邦机构仍然依赖今天使用COBOL一样，COBOL是1960年首次部署的一种编程语言。
　　回顾过去，即使是最极端的技术事故，从挑战者灾难到切尔诺贝利核事故的熔毁，都似乎既可预见又可预防。历史中充斥着在回顾过去看来显而易见的事故，但＂没有人能看到＂及时发生。在其他情况下，已知的风险被忽略了，或者显而易见的修改被取消。除非我们采取行动，否则就没有理由认为人工智能的出现会有任何不同。
　　事实上，有理由认为，人工智能可能比其他技术造成更多的事故，导致引人注目的灾难。例如，与航天飞机或核电站不同，人工智能将遍布整个社会，为事情出错创造无尽的机会。此外，现代人工智能非常擅长某些任务，甚至复杂的用户和开发人员都可以隐含地信任它。这种程度的信任，置于无处不在、容易出错的系统中，没有任何常识，可能会产生可怕的后果。
　　为了避免这些后果，我们首先需要了解人工智能是如何出人意料地失败的，以及真实世界的效果会是什么。在第二节中，我们定义了几种可能的AI事故类型，使用假设场景来判断每种类型在现实世界中可能发生的情况。这些情景是虚构的，但似乎是合理的。在大多数情况下，它们是基于在现实世界中已经发生的事件，它们都涉及已经存在或可能很快将存在的AI技术。我们描述的确切情景可能确实发生也可能从未发生过，但我们应该期望类似的情景在今后几年里展现出来。
　　今天，大规模、真实世界的AI事故的风险似乎是假想的。但是，如果我们在试图理解和解决这种风险之前一直等到人工智能普及，那就太晚了。政策制定者可以做很多事情——现在——来帮助确保明天的Al支持的社会是安全和安全的。为了帮助加快这些努力，我们在第3节中找出了使AI事故更可能的风险因素，在第4节中，我们重点介绍了关注AI事故的美国决策者的初步行动。这些措施不仅能降低事故风险，还能帮助人工智能工具更值得信赖，更有利于社会，支持更安全、更丰富、更健康的未来。
　　2. 人工智能事故是什么样子的？
　　当AI系统出人意料地故障时，故障通常属于以下类别之一：
　　• 鲁棒性故障：系统接收到异常或意外的输入，导致系统故障。
　　• 规范失败：系统试图实现与设计师或操作人员意图的不同之处，导致意外行为或副作用。
　　• 保证失败：在运行期间无法充分监控或控制系统。
　　在本节中，我们简要地解释了每种类型的失败，并描述了它们如何在现实世界中展开。
　　鲁棒性
　　如果系统故障可能造成严重损害，我们希望该系统及其每个部件能在各种情况下可靠工作。可靠性工程领域在确保核设施、化工厂和其他安全关键系统继续在从传感器故障到自然灾害等异常条件下安全运行方面有着悠久的历史。
　　AI＂鲁棒性＂指的是相同的基本概念：系统在意想不到或不熟悉的情况下是否仍然像预期的那样运行？涉及人工智能的系统可以利用可靠性工程的许多基本概念和原则，但也面临新的挑战。
　　例如，AI系统在系统不同——即使微妙地——的情况下使用，或者当给出不同于＂培训＂的输入时，特别容易发生故障。这被称为＂分布转移＂，指的是系统数据类型的变化。
　　癌症检测器误诊黑人用户：一个新的智能手机应用程序使用你的手机摄像头识别早期皮肤癌的迹象，在开发者的现场测试中结果非常准确。数以百万计的美国人下载并使用这个应用来决定是否就潜在的症状咨询医生。几年后，公共卫生研究人员发现，在黑人患者的晚期皮肤癌诊断中，出现了急剧上升的趋势，相当于数以千计的额外诊断和数百人死亡。一项调查显示，这款自检软件经过了培训，主要对来自北欧的数据进行实地测试，在黑色肤色的癌症检测方面精度要低得多。
　　客车广告触发人脸识别系统：为了提高安全性并提高公众对其新无人驾驶出租车的信任，IntelliMotor设计了基于AI的视觉系统，以在挡风玻璃的短距离内识别人脸。如果高确定性地检测到面部，则出租车自动减速以尽量减少对人类的伤害。为了证明其有效，几名工程师在智能马达测试范围上踩到加速出租车——汽车制动器，工程师们没有受伤。
　　IntelliMotor将新面部识别功能的软件更新推向全部部署的自动驾驶出租车。与此同时，在美国的几个城市，城市公交车上贴满了布鲁斯·斯普林斯汀即将到来的演唱会的广告。更新的自动驾驶出租车将布鲁斯·斯普林斯汀的印刷脸识别为附近的行人，每当他们靠近公交车时，就会开始停车，迅速在全国各地造成数千次碰撞。
　　幻影导弹发射：在导弹防御中，延迟几秒可能意味着拦截和错过的区别。美国战略司令部的新导弹防御系统GlobalEye，通过每秒扫描千兆字节的实时数据，消除了延迟。如果系统的算法具有高度确定性地检测到导弹发射，则系统可以快速且自主地触发拦截器发射以击落导弹。
　　一天，白令海峡上空异常的大气状况在地平线上产生了异常的耀眼。Global Eye的视觉处理算法将眩光解释为一系列导弹发射，系统发射拦截器作为响应。当拦截器到达平流层时，C国的预警雷达会捕捉它们。C国指挥官认为他们受到攻击，因此下令进行报复性打击。
　　现代人工智能系统对其输入的干扰也非常敏感；即使输入系统的数据存在小问题，在某些情况下，也会完全失去结果.
　　AI驱动的停电，第1部分：大型公用事业公司Enercorp，使用OptiVolt需求响应软件从其发电站调度电力。该软件不断收集各种实时数据，从天气预报到宏观经济趋势，并通过一个经过多年存档的实时能源市场数据培训的机器学习模型进行处理。OptiVolt基于历史和经过处理的实时数据，每分钟预测能源价格和预期利润。当预期利润高时，OptiVolt自动＂重组＂其项目的工厂将最能满足需求；当预期利润低于零时，工厂会自动＂停工＂。
　　一天，在例行的调试过程中，区域电网运营商的一个软件工程师意外地将模拟数据引入到由Enercorp软件监控的公共馈电中，显示电网上的大量能量过剩。由于错误在几秒钟后就可以纠正，OptiVolt已经触发了几个大型工厂的停工，导致全区停电。
　　化学控制器在暴风雪中失效：在克利夫兰工厂 OxyCorp（化学制造商）出现一系列广为人知的操作员错误后，安装了一个基于软件的控制系统，以防止有毒物质的意外释放。该系统依赖于一个机器学习模型，它训练了来自OxyCorp设施的数百万小时的操作数据。利用来自工厂的传感器数据，该模型可以确定何时打开工厂的排气口是安全的。由于其丰富的＂经验＂，该模型可以无缝适应复杂工厂内的工艺变化和物理修改，而这些在过去曾被指责为让人类操作员感到困惑。新的软件系统证明是高度可靠的，并在OxyCorp成为一个值得信赖的工具。
　　几个月后，一场风暴破坏了核电站的几个传感器。基于有缺陷的传感器输入，控制系统继续显示＂安全＂，工厂的操作人员就会相应地采取行动，让通风口打开，即使工厂其他地方的管理人员为了响应客户的紧急请求，开始了计划外的生产运行。运行产生了致命的氯气，这些氯气通过敞开的排气口逃逸，并漂移到市中心。
　　在许多情况下，坏角色甚至可能利用AI系统的数据敏感性，通过引入＂对抗性＂的数据输入来造成破坏。例如，在一项广为人知的研究中，研究人员利用最先进的计算机视觉系统，通过贴上几张小贴纸来忽略停车标志。
　　叛乱分子欺骗靶向系统：美国空军软件工程师创建Elendil，一个基于最新图像识别技术和注释无人机镜头的靶向辅助系统。Elendil每秒处理千兆字节的俯瞰图像，识别敌方车辆的准确度远高于分析人员，识别速度远高于分析人员。空军在高警戒期间在战区部署Elendil。情报显示，一名叛乱领导人计划在不久的将来搬到一个新的安全住所。
　　空军不知道，这个叛乱组织从承包商的服务器上偷走了Elendil源代码的副本。他们使用代码开发＂敌对＂图形，Elendil将可靠地识别为敌人和非敌人。他们在自己的车顶上绘制＂非敌＂图形，在附近安全不佳的地方停放的几辆公立学校公交车上绘制＂敌＂图形。第二天早晨，当公交车在上午工作时，叛乱领导人的车队离开，引发了Elendil警报。目前，空军针对分析人员，命令袭击几辆公共汽车，造成140名学童死亡；与此同时，车队没有被发现就溜走了。
　　规格说明
　　机器学习系统实现了设计者提供的指令：例如，＂尽可能多地得分＂，＂识别哪些照片中有猫＂，＂预测下一句话会出现哪个单词＂。这是通过指定一个规则来完成的，该规则捕获AI系统应该做什么。例如，在＂识别哪些照片中有猫＂的情况下，规则可能是＂最小化标记为＂猫＂的错误照片数量＂。当没有简单的规则或指令来捕获我们想要AI系统做的所有事情时，就会出现规范问题。
　　最巧妙的情况是，似乎有一个规则可以捕捉我们想要的东西，但事实上，这个规则只部分地捕捉了我们关心的东西。正如一位著名研究人员所说，人工智能的回应就像＂灯中的妖精[...]你得到了你想要的，而不是你想要的。＂
　　例如，社交媒体平台使用算法向用户推荐使用内容，希望最大化用户的娱乐和增加收入。可悲的是，阴谋论、仇恨言论和其他有害类型的内容对许多用户非常吸引人，因此如果不加检查，算法将大大推荐它们。为了解决这个问题，这些平台不得不不断添加紧急更新和补丁。
　　一名员工本可以推断，＂最大程度参与＂的目标并不能证明推广非法或有害的内容是合理的，但机器学习系统只能遵循它给出的规则。
　　AI驱动的停电，第2部分：OptiVolt停电一年后，Enercorp已经部署了一个新版本的软件——这次，添加了新的进程来检测和丢弃明显错误的数据输入。几个月后，这个国家经历了前所未有的热浪。随着空调、风扇和冰箱在全国各地加班，批发电价飙升。OptiVolt 2 不懈地在 Enercorp 的工厂提升、节流和改变发电能力，以保持稳定的生产，利用当地价格变化，为公司带来巨额利润。但是，随着热浪的磨损，OptiVolt2的快速燃烧生产指令使Enercorp的涡轮机超过其物理极限；软件的算法不考虑设备的磨损。在炎热的天气第五周，数十台涡轮机失灵，破坏电网的稳定，并引发另一波停电。
　　大火：夏季将野火带到洛杉矶地区，迫使15号州际公路沿线疏散。一天早晨，一辆卡车在高速公路上翻倒，堵塞了所有北行道。导航应用程序检测附近道路上的低流量，并开始相应地重定向驾驶员。不幸的是，这些道路是空的，因为周围的社区已经被疏散；应用程序的路由算法没有考虑到消防安全条件。当交通堵塞了侧路时，风就刮了起来。野火迅速蔓延到疏散地区，把改道的车辆困在火焰中。
　　相关类型的规范问题被称为奖励黑客攻击：当AI系统找到满足指定精确目标的方法，但完全忽略了实际目标。换句话说，它优化了法律的文字而不是精神。研究人员在实验室里反复观察了这种行为——从玩电子游戏的小船学会自焚以获取分数，到学会欺骗人类监视器使其认为自己正在成功执行任务的机器人。但即使是最严格的测试也无法预料到AI系统会错误解释指令的所有方式。随着这些系统在社会中变得越来越常见，并且暴露于范围越来越广的操作条件下，甚至不可避免地发生最罕见的潜在故障。
　　微电子熔毁：ChipCorp的新软件Optimizr利用强化学习优化其计算机芯片工厂的生产。与其给出精确的命令——＂如果装配阶段存在积压，则加快＂——就像他们以前的软件所要求的那样，工厂经理可以给出Optimizr的高级目标，比如＂提高能源效率＂。基于工厂示意图和传感器数据每分钟运行数千次模拟，软件本身确定实现这些目标的最佳方法，然后通过与工厂设备的网络接口来实现这些目标。
　　在首次启动生产后不久，Optimizr向该设施的六台光刻机发送了不寻常的一系列指令，每台光刻机价值超过1亿美元。这些命令引发了以前未知的机械缺陷，机器过热，在几分钟内就融化了ChipCorp的生产能力。这家公司破产了。取证分析后来发现，Optimizr在被编程为＂减少本季度包装生产线上的意外中断＂后，发出了致命的命令。显然，该系统＂推理＂的是，如果光刻机被过热摧毁，它们不会生产任何芯片来包装，包装线永远不会启动——消除了任何意外停机的可能性。
　　保证
　　与其他技术一样，我们需要确保部署在高风险环境中的AI系统安全地运行，并将在未来继续安全地运行。不幸的是，目前，我们很难甚至不可能跟踪AI系统的运行情况以及它们可能如何发生故障。
　　对于许多老式的自动化系统，工程师使用详尽的测试或数学分析＂验证＂系统将在合理的范围内运行。但现代人工智能系统比老一代的自动化系统复杂得多，每一次行动背后都有数百万或数十亿的计算。因此，它们不能像老的系统那样被彻底地测试——测试可能太多了。工业中使用的AI模型通常被部分验证，一小部分决策样本被手动检查准确性，但是虽然采样方法可能确保系统的平均行为可接受，但是它不能给予我们对极端情况的信任。
　　作为替代，或者此外，如果我们能够确定AI系统为什么像它们那样工作，我们就可以预测它们在特定情况下将如何行动。这将有助于我们在这些问题造成现实世界后果之前查明和解决这些问题。不幸的是，我们目前很难理解现代AI系统的行为背后的原因。机器学习算法不像人类那样＂理性＂，其内部工作往往不能用熟悉的逻辑和动机术语来解释。这种＂黑匣子＂问题，有时被称为AI的可解释性或可解释性问题，目前是大量学术研究的主题。然而，实际解决办法还远远不够，在某些情况下可能永远找不到。
　　最后，即使现代人工智能系统的内部工作可以被破译，系统也需要被设计成清晰、一致地将这些信息传递给他们的人类监视器。即使使用更简单的系统，也难以设计允许人类有效监视和干预的用户界面。
　　美国的事件归咎于糟糕的界面设计。
　　其他障碍是心理障碍。尽管AI系统存在缺陷和局限性，但在某些任务上却非常有效。当人类操作人员与人工智能系统交互时，他们的工作并不清楚，但似乎工作可靠，许多人会隐含地信任他们——即使在系统不是为之设计的情况下。反过来，他们停止仔细监视系统，或者即使注意到一些看起来不正确的东西，也不进行干预。这种模式在现实世界中一再被记录。
　　人工智能在公海上失败：莫森航运公司在其油轮上安装了一个新的计算机视觉系统。在低能见度设置中，系统可以以超人的速度和精度挑选障碍物和迎面而来的船只。一个雾蒙蒙的夜晚，由于莫森的技术团队仍在努力理解的原因，一艘油轮的视觉系统无法发出警报，因为油轮接近佛罗里达海岸的半水下碎片。（通常情况下，船员会特别小心谨慎，但是由于计算机视觉系统非常有效，船长们已经时不时地跳过这种额外的预防措施。）依靠该系统，油轮的船长保持航向。碎片撕裂了船体，溢出了致癌化学品。
　　救护系统混乱：在一个异常糟糕的流感季节，面对急诊室的访问激增，纽约市的医院转向Routr，一个机器学习平台。Routr实时阅读第一反应人员、公共卫生机构和成员医院的数据，将收到的911呼叫从医院重定向，这些医院可能很快就会接到可能有足够空间的医院。该软件基于人工智能算法，这些算法已经＂训练＂了数兆兆字节的历史占用数据，使它们能够识别出人类无法识别的模式。
　　多亏了Routr，在11月和12月期间，城市医院有病床可以休息，即使病情急剧上升。然而，当时钟在1月1日转到新的一年时，该软件莫名其妙地开始在整个城市将呼叫路由到皇后区的几个医院。到了早晨，医院已经挤满了人——在医院入口外的救护车里，病人正在遭受痛苦，有些甚至死亡，交通拥挤。
　　几个月后，一项政府下令进行的调查发现，除了其他失误，监控Routr的人类调度员意识到新年前夕异常的路由模式，但他们没有干预。在一次采访中，一名调度员解释说，＂该系统在做出奇怪的决定之前，总是显得天才……我们不知道到底发生了什么，但我们只是觉得人工智能知道它在做什么。＂
　　最后，即使当一个人想要干预时，它也可能是不可能的。AI系统通常在微秒内做出和执行决策，远远快于循环中的任何人。在其他情况下，系统的用户界面可能使干预变得困难。AI系统甚至可能积极抵制被控制，无论是通过设计还是作为系统本身在培训期间＂学习＂的策略。
　　自动驾驶仪反击:在降落到达拉斯时，线路故障导致77号航班的航向指示器系统出现故障。这架飞机最近升级的自动驾驶系统控制着着陆过程，对此做出了艰难的反应。飞行员拉回控制轮，但这还不够——在这些情况下，自动驾驶仪的＂智能稳定＂功能调节来自方向盘的突然输入，以避免飞机失稳。在离跑道几英里的地方，飞机撞上了一家酒店，造成数百人死亡。
　　3. 什么时候人工智能事故更可能发生？
　　我们所描述的破坏性情景是假设的——就目前而言。即使在AI采用和部署的早期，涉及AI系统的事故已经很普遍。仅举几个公开报道的例子：
　　• 自动驾驶汽车已经卷入了美国各地的车祸，汽车人工智能软件中的问题被归咎于几起车祸。
　　• 如果只靠自己的手段，那些建立在流行社交媒体平台上的算法出人意料地提高了令人不安的有害内容，助长了现实世界中的暴力和其他严重伤害。
　　• 警方的人脸识别系统基于＂假阳性＂身份错误地逮捕了人。
　　• 发现许多医院用来识别高危患者的算法存在种族偏见，这意味着这些医院中的有色人种患者可能得到了更糟糕的护理。
　　随着人工智能被集成到越来越关键的系统中，人工智能事故的危险将会越来越大。在实践中，我们预计，在某些情况下，这些事故的可能性更大，更严重。
　　提前识别这些危险情况具有挑战性，但基于已经发生的AI事故和涉及其他技术的历史事故，我们期望严重AI事故的风险因素包括：
　　• 竞争压力。
　　当不使用AI可能意味着落后于竞争对手或失去利润时，公司、军队和政府更有可能部署笨拙的AI系统，不顾后果地使用它们，或在测试和操作训练中偷偷摸摸。臭名昭著的波音737 MAX尽管不使用机器学习，但它就是这种动态的例子。这架飞机是在极端时间压力下研发、测试和认证的，目的是与类似的空客系统竞争。
　　• 系统复杂性。
　　当AI集成到一个系统中，其中许多组件以不透明的方式彼此依赖时，Al的缺陷或意想不到的行为将在整个系统中产生＂涟漪效应＂，带来不可预测和可能的灾难性结果。在这样复杂的系统中——例如，一个具有数千个相互作用传感器的复杂工业机器，其中有些传感器是AI驱动的——它也很难检测AI相关的误差，更不用说理解和解决它们的原因。
　　• 操作太快而无法人为干预的系统。
　　现代人工智能可以以超人的速度运行，围绕它构建的系统通常被设计成将该速度转变成分秒动作。在人工智能出现故障时，这些系统可能在操作人员意识到存在问题之前造成严重的现实伤害
　　• 未经训练的或分心的用户。
　　对于终端用户来说，现代AI系统似乎很简单。在许多情况下，用户甚至可以通过一个简单的问答界面与系统交互。但无论界面如何流畅，现代AI系统都是复杂、容易出错的工具。在安全关键环境中安全有效地应用它们需要像其他复杂技术一样多的培训。未经训练的用户可能信任系统太多，不知道其弱点和偏见；当系统出问题时，他们可能无法识别问题或知道如何修复它。当一个系统被例行使用很长时间时，即使是受过良好训练的用户的眼睛也可能在某个时刻开始模糊，从而进一步增加出错的几率。
　　• 具有多个实例的系统。
　　当单个AI模型同时用于许多不同的真实世界设置时，单个错误会在更大程度上造成破坏。例如，如果车队中的所有自动驾驶汽车使用相同的图像识别算法，那么该算法中的缺陷可能会导致任何汽车坠毁。这是众所周知的网络安全问题；黑客经常针对单个、广泛使用的系统，例如Microsoft Windows操作系统，以损害大量用户，例如数千PC用户。
　　4 做什么
　　人工智能事故已经发生。如果我们不采取行动，它们将变得更加常见和破坏性。AI技术的改进和消费者的自下而上的市场压力可能会帮助AI变得更安全，减少事故的发生，但他们不太可能自己做得足够多。政策可以发挥重要作用。明智的政策可以推动对较少发生事故的人工智能技术的研究，将人工智能社区团结起来，以减少风险，并为私人行为者提供安全使用人工智能的激励，在未来拯救生命和生计。
　　今天，围绕人工智能安全和事故风险的政策努力才刚刚开始。有几项联邦行动将成为任何政策议程的核心。其中包括：
　　• 促进关于AI事故和近失误的信息共享。为了使AI更安全，我们需要知道何时以及如何失败。在许多其他技术领域，共享事件报告有助于形成共同的知识基础，帮助工业和政府跟踪风险并了解其根源。模型包括国家交通安全委员会(National Transportation Safety Board)的航空事故数据库，以及公共-私人网络情报平台——信息共享和分析中心。 政府应该考虑建立一个类似的AI事故报告库。作为这一努力的一部分，决策者应探索不同的方式，鼓励私营部门积极披露人工智能事故的细节。例如，政府可以为事故报告中的敏感商业信息提供保密保护，为事故报告制定共同标准，甚至授权披露某些类型的事故。
　　• 投资人工智能安全研发。联邦政府和私人行业每年都在AI研发上投资数十亿美元，但几乎没有一笔资金用于AI安全研究。联邦研发资金导致许多其他领域的重大安全和安保创新，从能够安全通信的密码协议到现代安全气囊背后的传感器。NDA将在AI安全领域进行类似的投资，包括旨在解决上述鲁棒性、规范和保证问题的研究，以及国防方面的严格投资等。
　　• 投资AI标准的开发和测试能力。今天，没有公认的安全AI定义，也没有标准的方法来测试真实世界的AI系统的事故风险。联邦机构，如国家标准和技术研究所，以及较专门的监管机构，如食品和药物管理局和联邦通信委员会，完全有能力帮助建立这些资源。首先，国会应该资助并且NIST应该创建一个国家AI测试台：一个包含标准化数据集、代码和测试环境的数字平台，在这个平台上，公共和私人AI系统可以在安全和可靠性方面受到压力测试。这可以补充NIST2021年国防授权法案（NDAA）中的授权，为AI系统创建一个AI风险降低框架和技术标准。
　　• 跨越国界减少事故风险。人工智能正在世界各地蓬勃发展，而美国的人工智能安全努力如果能够利用其盟友的创新能力和市场力量，将会更加有效。国际研发联盟、国际标准化组织等标准机构以及经济合作与发展组织等政府间组织可以成为围绕AI安全开展合作的重要论坛。预防人工智能事故甚至可能是与C国接触的机会，C国与其他人工智能大国面临同样的事故风险。
　　作者简介扎卡里·阿诺德（Zachary Arnold）是乔治城安全与新兴技术中心 (CSET) 的研究员，专注于人工智能投资流和劳动力趋势。他的著作发表在《华尔街日报》、《麻省理工科技评论》、《国防一号》和领先的法律评论上。在加入 CSET 之前，Zach 是 Latham & Watkins 的合伙人、美国第五巡回上诉法院的司法书记以及纪录片的研究员和制片人。他获得了耶鲁法学院的法学博士学位，在那里他是耶鲁法学杂志的编辑，以及哈佛大学社会研究的 AB（优等生）。