一文读懂自动驾驶在人车交互下的行人轨迹预测方法

　　引言
　　近年来， 行人轨迹预测 在多个领域中受到越来越多的关注，例如自动驾驶汽车、智能交通、智慧城市等领域。行人作为交通场景中的主要参与者，对其未来运动轨迹的合理推理和预测对于自动驾驶和道路安全至关重要。在交通场景中，行人的运动轨迹不仅会受到本身意图的影响，还会受到周围行人、车辆的影响，所以行人轨迹预测是一项极具挑战性的工作。本文的内容分为三个部分，首先将论文中常用的行人轨迹预测方法进行分类，包括基于LSTM的轨迹预测方法、基于GCN网络轨迹预测方法、基于GAN网络的轨迹预测方法，接着对行人轨迹预测的难点进行探讨，最后对行人轨迹预测的发展趋势做出总结与展望。
　　行人轨迹预测方法
　　目前广泛应用在行人轨迹预测领域的方法主要包括 基于LSTM网络、GCN网络和GAN网络的轨迹预测方法  ，这些网络在训练完成后对同类型输入具有很好的适用性，拥有较高的轨迹预测精度。下面对应用以上网络模型的方法分别展开介绍。
　　2.1 基于LSTM的行人轨迹预测方法
　　循环神经网络  （Recurrent Neural Network,RNN）[1]是最早用于行人轨迹预测的模型，它通过输入和存储在历史网络中信息共同决定输出，RNN通过这种特性使其能够根据历史序列信息去预测未来值。但传统的RNN网络面临的一个缺点是会将所有历史信息都存储于网络之中，在训练时会导致大型网络产生梯度消失或者梯度爆炸。而在行人轨迹预测中，需要大量的网络节点和庞大的数据集对网络进行训练以提高预测的精度。因此 传统的RNN将不能满足行人轨迹预测的需求 。
　　为了解决RNN在复杂时序的预测问题，Hochreiter等人提出了 长短时记忆网络 （Long Short-Term Memory, LSTM），它是一种特殊的RNN结构， 能轻松地学习到长期依赖的信息 。LSTM通过增加遗忘网络层来丢弃导致错误预测结果的信息，在解决梯度消失问题的同时提升网络预测的精度。
　　为了将LSTM应用到行人轨迹预测的方法中，Alahi等[2]提出了一种 Social LSTM网络 ，网络结构如图1所示。Social LSTM方法解决了以往工作中行人轨迹预测遇到的 两个难点： （1）  现有的模型不能通过数据驱动的方式来展示交互关系，需要手工构造函数来表现出来，导致模型只能捕捉简单的交互情景。 （2） 现有的轨迹预测工作中所针对的任务通常是距离很相近的情景，而没有考虑更远距离可能发生的交互问题。针对这两个难点，论文提出了一种Social LSTM模型，通过为场景中的每个行人配备一个独立的LSTM网络，用于预测其运动轨迹；通过社交池(s-pooling)层相互连接来计算周围其他行人交互产生的影响。Social LSTM填补早期工作的空白，实现了很好的行人轨迹预测效果。
　　图1 social lstm模型结构
　　Zhu等[3]提出了一种 StarNet星型拓扑网络 ，如图2所示。通过对行人之间的全局交互建模实现高效的行人轨迹预测。该模型中Hub Network模块是基于LSTM的全局时序交互计算网络,用于获取所有行人的观察轨迹。Host Network是基于LSTM的轨迹预测网络，每个Host Network对应一个行人，通过参考描述信息对未来轨迹进行预测。在ETH和UCY数据集上，该网络在80%的场景下都优于其他算法，且实时性高。
　　由以上的分析可知，基于LSTM的神经网络模型主要解决行人本身对轨迹的影响问题，再根据社会交互模型的结论去修正目标预测轨迹，进而得出更加准确的预测结果。
　　图2 StarNet模型结构
　　2.2 基于GCN的行人轨迹预测方法
　　图卷积神经网络 （Graph Convolutional Networks，GCN）是一种能对图数据进行深度学习的方法，通过使用图的边和节点数据作为输入进行学习训练。在行人轨迹预测领域，GCN通过加入时空数据进行行人轨迹预测，因而能够理解行人行为从而加快社交互动的建模进度，所以GCN在轨迹预测方向有很大的应用前景。
　　为了将GCN应用到行人轨迹预测的工作中，Shi等[4]提出一种用于行人轨迹预测的稀疏图卷积网络模型（SGCN），解决了行人密集无向交互中存在的建模冗余和忽略轨迹运动趋势的问题。模型框架如图3所示，通过使用稀疏有向空间图对稀疏有向交互进行建模，以捕获自适应交互行人；使用稀疏有向时间图来建模运动趋势，便于对观测方向进行预测。 将上述两种稀疏图融合在一起，推算出用于轨迹预测的双高斯分布参数进行轨迹预测，最终在ETH和UCY数据集上实现了精准的行人轨迹预测结果。
　　图3 GCN网络架构
　　Bae等[5]研究了基于社会关系的行人轨迹预测，针对现有轨迹预测方法过多估计行人个体的社会力量，无法解决过度避碰的问题，提出了 一种用于社会纠缠行人轨迹预测的解耦多关系图卷积网络 （DMRGCN），模型框架如图4所示。该模型中通过解耦的多尺度聚合区分相关的行人，使用多关系的GCN提取场景中复杂的社会交互行为，模型中加入全局的时间聚合函数用于补偿因过度避撞而累积的误差。实验结果在平均位移误差(ADE)和最终位移误差(FDE)上分别超过了最先进的方法，实现了准确的预测效果。
　　由上述论文的分析可知，GCN网络主要是将行人社交模型加入到预测模型之中，对行人历史轨迹进性优化处理，进而提升预测速度和预测精度，从而实现准确预测行人轨迹的目的。 其缺点是不能够单独使用完成轨迹预测任务 。
　　图4 DMRGCN网络架构
　　2.3 基于GAN的行人轨迹预测方法
　　生成式对抗网络  （GAN, Generative Adversarial Networks）是一种无监督学习的深度学习模型，主要结构由两部分组成： 生成器 ，用于学习数据的分布并生成相似的数据。 鉴别器 ，计算来自真实数据的可能性，并将其分类为真实或虚假。GAN通过生成器和鉴别器的相互博弈来达到使网络相互学习的目的。在行人轨迹预测中加入GAN网络，可以解决过去仅能预测一条＂最优＂轨迹的缺陷，此网络能够预测多条可行的轨迹并通过博弈的思想进一步优化预测精度。
　　Gupta等[6]首次将GAN的对抗思想引入行人运动轨迹预测的任务中，提出一种 Social GAN的轨迹预测方法 。该网络将LSTM用作＂运动编码器模块＂处理时间信息，并采用＂位置编码器模块＂对空间交互进行建模，结合来自序列预测和生成对抗网络的工具来解决行人轨迹预测问题。模型结构如图5所示。
　　图5 Social GAN网络架构
　　由于GAN网络易受模式崩溃和模式下降的影响，Amirian等[7]提出了 Social Way网络模型 ，通过加入info-GAN来改进多模式轨迹预测，避免GAN出现的问题，模型框架如图6所示。该模型是继Social LSTM、Social GAN模型之后的进一步提升，在理想的监控俯瞰数据库ETH、UCY上进行数据的预测，通过引入注意力机制使模型自主分配对交互信息的关注，并且模型结构上舍弃了L2代价函数，引入基于互信息的Information Loss，使得网络在多模态行人轨迹预测上有着良好的训练效果。
　　图6 Social Way模型框架
　　GAN网络能够在行人轨迹预测方面实现较好的预测效果，但 也会存在一些缺点影响其网络性能 。比如， （1） 网络训练不稳定，容易出现梯度消失、模式崩溃等问题，进而造成生成结果较差。 （2） GAN训练时需要达到纳什均衡才能够拥有良好的预测精度，若不满足则会导致网络不收敛。 （3） 由于网络训练过程中没有使用损失函数，造成我们对当前的训练效果处于一个未知的状态，如果网络训练过程中出现生成器退化现象，则网络将无法继续训练。
　　行人轨迹预测难点 目前最先进的论文方法中，对行人轨迹的预测会出现预测结果不准确的现象。 结合论文进行分析可知，造成行人轨迹预测不准确的难点主要包括以下两个方面：
　　（1）行人运动方式灵活多变，预测其轨迹难度较大。  在现实中，相对于自行车、汽车等运动学模型，行人运动更加灵活，例如正在加速奔跑的行人可能会突然停止下来或者突然掉头再跑等动作，因此很难对行人建立合理的动力学模型，进而增加了行人轨迹预测的难度。
　　（2）行人之间的交互关系复杂且抽象，很难精确的进行建模。  行人轨迹往往不仅仅由行人本身的意图决定，很多时候也受周围行人的影响。在实际场景中，某一行人未来的运动不仅受自己意图支配，同样也受周围行人的影响。这种交互关系在算法中往往很难精确地建模出来。目前，大部分算法都是用相对空间关系来进行建模，例如相对位置、相对朝向、相对速度大小等。
　　常规算法模型的实现是找到一个输入到输出的函数映射，对于轨迹预测的模型来说，其对应着一个序列到另一个序列的映射，常规的模型或训练方式容易使模型预测结果陷入平均状态（预测结果倾向于预测一种折中的轨迹），显然使用常规的训练模型无法很好地对行人轨迹进行有效的预测。 总结与展望
　　本文对近年来行人轨迹预测领域部分最先进的方法进行了分类，并对不同的方法的优缺点进行了总结。结合轨迹预测的发展趋势可以看出， 基于神经网络的行人轨迹预测算法能够实现较好的预测效果，也是论文中使用较为普遍的方法。 而在实际场景的应用过程中，需要同时保证轨迹预测算法运行的高效性及识别的高精度性，在当前领域内轨迹预测技术在实际场景应用中还存在部分难点需要去克服。
　　轨迹预测技术在最近几年发展速度较快，伴随着传感器技术的不断发展，达到一个更加精准的行人轨迹预测更加易于实现。未来的发展中，相信轨迹预测技术走进实际生活的距离不会太遥远。更多精彩内容，请关注智车科技公众号！
　　参考文献： [1] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014. [2] Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowded spaces[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 961-971. [3] Zhu Y, Qian D, Ren D, et al. Starnet: Pedestrian trajectory prediction using deep neural network in star topology[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 8075-8080. [4] Shi L, Wang L, Long C, et al. SGCN: Sparse graph convolution network for pedestrian trajectory prediction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8994-9003. [5] Bae I, Jeon H G. Disentangled multi-relational graph convolutional network for pedestrian trajectory prediction[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(2): 911-919. [6] Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 2255-2264. [7] Amirian J, Hayet J B, Pettré J. Social ways: Learning multi-modal distributions of pedestrian trajectories with gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.
　　- End -