索尼搞了个大新闻AI打败人类三冠王，登上Nature封面

　　今天，索尼真是背刺了一把任天堂。早上任天堂在直面会上公布了诸多游戏大作：异度之刃 3、火焰纹章无双、马里奥前锋…… 可谓占尽风头。然而，万万没想到，索尼的 3A 游戏大作居然搞了个更大的新闻，登上了 Nature 封面 。
　　把游戏宣发做到了顶级学术期刊封面，我服。不过这篇文章可不是加钱打广告，而是实实在在的技术论文 —— 一只来自索尼的 AI，名叫 GT Sophy。
　　且看这位 AI 赛车手的比赛画面，先是一个机智变道绕开对手的卡位：
　　随后在弯道胶着时大秀操作，以 190km / h 的速度一举反超，将对手甩到身后。
　　可别觉得 AI 在赛车游戏里战胜人类没啥特别的，要知道，这样的比赛是在 GT 赛车中进行的 —— 这是一款高度拟真的赛车游戏，也就是说，选手们几乎就是在真・开车。
　　▲图右为 GT 世界冠军 Takuma Miyazono
　　而 GT Sophy 也是世界上首个在此类需要持续判断和高速反应的赛车游戏中，战胜人类冠军的 AI。
　　斯坦福汽车研究中心联合主任 Chris Gerdes 教授就对此表示：
　　GT Sophy 在比赛中如此熟练地超越人类驾驶员，这对于人工智能而言是一项里程碑式的进步。
　　值得一提的是，最新一代 GT 系列游戏 Gran Turismo 7 将在 3 月 4 日正式登陆 PS4 / PS5 平台。
　　虽然玩家们不太可能在第一时间对战 GT Sophy，但索尼已经表示，他们正在努力将这只强大的 AI 整合到 GT 赛车中。并不简单的赛车 AI
　　AI 战胜人类，在很多人听来已经不够新鲜。但与过去在国际象棋、围棋等棋类游戏，或星际争霸、Dota 等动作游戏中一展拳脚的 AI 相比，赛车那看似＂先到终点就赢＂的简单目标，实际上要复杂得多：
　　比如刹车，就是一种不断探索汽车轮胎与道路之间摩擦力的＂物理战＂。转弯时刹车太早，可能就无法顺利过弯，还会损失车速；刹车太晚，又难以保持想要的路线轨迹，甚至导致车体旋转。
　　整个比赛过程中，赛车手必须时刻保持对周围环境的判断，并能根据路况作出及时的反应。同时，驾驶技巧、针对不同对手的战术策略、甚至是遵守规则的赛车精神和礼仪…… 都是一个赛车 AI 所必备的素养。
　　为了达成这些目标，索尼将 AI 的训练场设在了自家的 GT 赛车系列的游戏中。
　　这是一款 PS 平台独占游戏，全名 Gran Turismo，是一个汽车行业中的真实名词，意为＂能够长距离行驶的高性能车＂。
　　这款游戏主打的就是真实驾驶感，甚至可以通过一套带力反馈的方向盘外设体会到横向 g 值、前轮滑移率、车重、车辆的调教特性等各种细腻的路感反馈。
　　在 GT 游戏中，研究这种通常使用 10 到 20 台 PS 游戏机、同等数量的计算实例、一台异步更新神经网络的 GPU，从头开始训练这个叫做 GT Sophy 的 AI。
　　训练主要针对两个连续值的维度：转向和速度。同时，为了把 GT Sophy 和人类拉到同一起跑线上，研究者们还调慢了它的操作速度：
　　对游戏的交互频率为 10 赫兹（人类标准是 60 赫兹），反应时间则分别为 100 毫秒、200 毫秒、250 毫秒。
　　在一张完整的地图中，研究者以 6 秒为单位，将智能体所跑的赛道量化为一段一段的＂静态地图段＂，并将每一段赛道的左右边缘和中心线编码为 60 个等距的三维点：
　　训练场准备好了，现在就是让 GT Sophy 真正成为一名会转弯、会思考的赛车手。行为者- 评价者机制
　　索尼使用了一种新的深度学习算法，也叫做量化回归的行为者-评价者（QR-SAC）方法。
　　AI 智能体会被扔到一个没有指令的环境中，并根据评价者（也就是价值函数）的评估来选择行动，并根据完成目标的结果而获得奖励或惩罚。比如，智能体会因为保持高速前进而获奖励，也会因为出界、撞墙或失去牵引力受到惩罚。
　　这种奖惩机制使智能体迅速得到积极的反馈，慢慢开始熟悉在赛道上的行为。事实上，GT Sophy 只用了几个小时就学会了在赛道上行驶，并很快就在 Maggiore 赛道上超越了 17700 名玩家：
　　但这种单纯的速度，或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛。因为如果对手速度足够快，智能体就完全可以通过跟随并学习对手的＂偷懒＂的方式积累大量奖励，最终也能完成目标。
　　于是，研究者们增加了＂超车奖励＂，并且，相对于对手的距离的改变也会与奖励积分成比例。同时，赛车的碰撞上也有奖惩机制，研究人员设置了一种较为保守的奖励：
　　在确保智能体能以足够强悍的驾驶风格赢得胜利的同时，也不至于会粗暴地将其他赛车赶出道路，而遭受真正的赛车规则的惩罚。
　　最终，GT Sophy 在 GT 赛车比赛中胜过了 2021 年 TGR GT 杯冠军、2020 年国家杯世界冠军和 2021 年亚军、2018 年国家杯亚洲 / 大洋洲冠军等多位世界顶级赛车手。
　　在比赛中，GT Sophy 在三条赛道上都取得了第一名。而在比赛中，它能够执行几种类型的转弯，有效地利用漂移，扰乱后面车辆，拦截对手并执行其他紧急操纵。
　　不过，研究者也提到，GT Sophy 在战略决策方面还存在着一些改进的空间：有时会在同一条跑道上留出足够的空间，让对手有机可乘。索尼要用它开发自动驾驶
　　看到这里，你觉得 GT Sophy 能力如何？反正几位世界级选手们是服气了。
　　在 GT 赛车世界级赛事上斩获三冠的宫园拓真（Takuma Miyazono）表示：
　　Sophy 的速度非常快，单圈时间胜过了此前对最佳车手的预期。
　　—— 在其中一场比赛中，GT Sophy Rouge 以 5.8 秒的优势战胜了第二名山中智明（2021 年 TGR GT 杯冠军），最快圈速为 1：54.373，比山中快了 2 秒多。
　　而 GT Sophy 的能力显然不仅仅能在游戏中大杀四方。斯坦福汽车研究中心联合主任 Chris Gerdes 教授就指出，GT Sophy 背后的 AI 技术，可以帮助开发自动驾驶汽车：
　　GT Sophy 在赛道上的成功表明，有朝一日，神经网络在自动驾驶汽车软件中的作用可能比现在更大。
　　目前，神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍，控制软件则仍依赖于人为设定的规则。丰田研究所高级经理 Avinash Balachandran 也表示，＂在赛车中应用机器学习和自主控制令人兴奋＂。
　　还有不少网友认为，这一 AI 或许与索尼新成立的电动汽车公司有关，或许再过几年，这个 AI 就能在其自动驾驶技术中看到了。
　　当然对于索尼玩家来说，最期待的是：下个月上市的 GT7 能否加入这个最强 AI？
　　好消息是 GT7 仍会登陆上一代游戏机 PS4，没买到 PS5 的玩家也能尝尝鲜了。
　　论文：
　　https://www.nature.com/articles/s41586-021-04357-7
　　参考链接：
　　https://sonyai.github.io/gt_sophy_public/