人工智能的进步将会导致人类的灭亡吗？

　　是的。（如果指的是超强人工智能的话）
　　首先，我想解释一下为什么埃隆马斯克、比尔盖茨、尼克博斯特罗姆等人一直在说这个问题，因为许多人都在讨论这个话题，但是并没有提到人工智能如何或为什么对人类构成了存在威胁。
　　目前我们能想到的一些威胁或者说问题，如人类社会大大增加不平等、破坏世界经济运作和或导致大规模失业其实并不构成人类的存在威胁。人类以前经历过更糟糕的情况。如：
　　大型陨石撞击。
　　附近的超新星或伽马射线暴。
　　气候的巨大转变导致全球粮食生产崩溃。
　　一种极具传染性的病毒。
　　全球核战争。（或许）
　　人工智能如何可能对人类构成这种规模的威胁呢？
　　关键在于智能。
　　更重要的是，一种（远远）比人类更聪明的智能可能有与人类不同的目标。让我们看一个例子，说明一种比另一种物种更聪明的物种如何对较弱者构成存在威胁。以大猩猩和人类的情况为例。大多数人类并不对大猩猩怀有敌意，但我们有其他目标（农业），因此我们破坏它们的栖息地，大猩猩无法阻止我们。一种比人类聪明得多的人工智能可能不会对我们怀有敌意，但它可能会决定利用地球的资源来实现自己的目标，而人类无法阻止它。因此，人类可能会灭绝。
　　1）智能爆炸的可能性（我们创造的聪明人工智能将很快设计出更聪明的继任者，然后再设计出更聪明的人工智能，非常快地（几天内？）存在一种比任何人类都聪明得多的人工智能）。
　　2）难以将超级智能人工智能的目标与人类的目标保持一致。
　　现在，也许我们无法制造比我们更聪明的智能体。也许发展进展会非常缓慢，人类将能够一直保持控制。但至少可以考虑人工智能的智能增长比我们预期的要快得多，而且没有人类保持控制的情况。即使发生这种情况的概率非常低，其负面后果如此之大，我们应该花些时间思考并投入一些精力来防止它发生。
　　当然，针对超级智能人工智能所带来的存在威胁，有各种反驳的论点。例如，人工智能永远无法拥有自由意志或自己的目标。任何足够先进的智能都会自动变得道德。人类会为人工智能编程，使其目标始终与我们的目标保持一致。仅仅因为某物比我们更聪明，并不意味着我们无法控制它。但是，所有这些论点都有缺陷。
　　基本，我们已经确定，如果存在一些超级智能的实体，其目标与人类不同（例如利用人类的资源做其他事情），那么人类无法阻止它，因此人类将会灭绝。
　　这并不意味着我不支持当前的人工智能研究。我也认为应该努力缓解短期内人工智能发展带来的危险（破坏经济、自动化武器等）。我认为在未来50年内出现超级智能人工智能的概率很小。但是短期的危险并不是生存威胁，而超级智能人工智能的危险是生存威胁。
　　因此，在短期内，对于正常的人工智能进展和应用，人工智能不是生存威胁。但是，如果智能爆炸可能发生，那么最终可能会（可能需要几十年到几个世纪，但埃隆马斯克认为会更快）创建一个超级智能，而超级智能人工智能是一种生存威胁。
　　写于某某高校人工智能实验室