太危险！超1000名大佬联名要求暂停大型AI研究半年，图灵奖得主马斯克苹果联合创始人都签了，连OpenAI创始人也有份？

　　每经记者：李孟林 每经编辑：兰素英
　　OpenAI的强大性能不仅让全球＂打工人＂都感到紧张，业界大佬们也感到步子迈得太快了，需要暂停一下，评估其中的风险。
　　北京时间3月29日，由图灵奖得主、深度学习三巨头之一约书亚·本吉奥（Yoshua Bengio），埃隆·马斯克，《人类简史》作者尤瓦尔·赫拉利等人联名发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，为期至少6个月，以确保人类能够有效管理其风险。暂停工作应该是公开且可以证实的，如果AI实验室不能快速暂停，各国政府应该实行暂停令。
　　截至发稿，这份公开信已经征集到1128份签名。
　　图片来源：futureoflife.org
　　OpenAI创始人：AI需要政府与社会的共同监管
　　公开信指出，AI现在已经能和人类竞争，将给人类社会带来深刻的变革。在这个关键时刻，我们必须思考AI的潜在风险：假新闻和宣传充斥信息渠道、大量工作被自动化取代、人工智能甚至有一天会比人类更聪明、更强大，让我们失去对人类文明的掌控。这些问题不应该交给＂未经民选的科技领袖＂来决定。
　　然而，各大AI实验室为了开发和应用更加强大的人工智能，最近几个月已经陷入了＂失控＂的竞赛，甚至连AI系统的创始人也并不能完全理解、预测和有效控制其风险，相应的计划和管理工作没有跟上。
　　实际上，面对OpenAI产品在全球的火爆程度，OpenAI创始人兼CEO山姆·阿尔特曼自己也感到有些害怕。他近日在接受媒体采访时表示，自己对AI如何影响劳动力市场、选举和虚假信息的传播有些＂害怕＂。AI需要政府和社会共同参与监管，用户反馈和规则制定对抑制AI的负面影响非常重要。
　　《每日经济新闻》注意到，在签名名单里的尾部，赫然出现了阿尔特曼的名字。然而，由于签名是公开征集，尚无法证明是否是阿尔特曼本人签署，其本人亦未回应。签名中OpenAI最后一个字母为小写，或有故意之嫌疑。
　　图片来源：futureoflife.org
　　签署人之一、纽约大学著名AI研究者Gary Marcus也在推特上发问：＂是你吗，山姆？＂
　　图片来源：GaryMarcus@twitter
　　千余名大佬联名＂发声＂
　　第一批签名人里面可谓大佬云集。
　　约书亚·本吉奥因对深度学习的贡献，在2018年与＂深度学习之父＂ 杰弗里·辛顿 (Geoffrey Hinton)、Facebook首席科学家杨力昆（Yann LeCun）一起获得了图灵奖。三人被称为＂AI教父＂。
　　后两人虽然没有参与公开信的签名，但最近对OpenAI以及AI领域的快速发展都表示了担忧或批评。辛顿在近日接受哥伦比亚广播公司采访时表示，AI消灭人类＂并非不可想象＂，人类需要警惕AI会给一小部分公司和政府带来巨大的权力。作为Facebook的AI领头人，杨力昆则一直对OpenAI的大语言模型路径不屑一顾，认为其科技并无特别创新之处。
　　马斯克作为OpenAI的共同创始人之一，一直也毫不掩盖他对OpenAI的敌意，认为其过商业化，从开源变成了＂闭源＂，已经忘了非盈利和开放的＂初心＂。但最近也有新闻指出，马斯克之所以如此敌视OpenAI，是因为2018年争夺OpenAI经营权失败，所以撤资走人。
　　此外，签名人还包括苹果联合创始人史蒂夫·沃兹尼亚克、2020年美国总统选举民主党初选候选人杨安泽、AI经典教科书《人工智能: 一种现代方法》作者Stuart Russell、AI领军公司DeepMind的一众研究人员等。
　　图片来源：GaryMarcus@twitter
　　新闻链接：公开信原文
　　正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。
　　现在，人工智能在一般任务上变得与人类一样有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。
　　因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。
　　人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。
　　人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。
　　同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。
　　人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个＂人工智能之夏＂中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天（fall，亦可指坠落)。
　　每日经济新闻