NVIDIA助力DeepRec为vivo推荐业务实现高性能GPU推理优化

　　腾讯互娱内容生态部（Content Development Department，以下简称 CDD）正在构建以 NVIDIA RTX A6000 + NVIDIA BlueField-2 DPU + Spectrum-3 交换机等先进技术为基础的新一代超大分辨率渲染平台。双方团队沿着视频流超低延迟传输这一方向进行持续的技术攻关，将 NVIDIA Rivermax 整合到生产软件环境中，进一步降低了超大分辨率渲染平台的交互延迟。
　　本案例主要应用了 NVIDIA Rivermax，NVIDIA RTX A6000，NVIDIA BlueField-2 DPU，NVIDIA Spectrum-3 交换机。
　　客户简介及应用背景
　　作为国内游戏大厂，腾讯早早布局虚拟制片业务。2020 年底，腾讯游戏成立内容生态部门（Content Development Department，以下简称 CDD），旗下拥有虚拟人、虚拟制片等多个业务线。2021 年 11 月 CDD 在深圳坪山建成了总占地 3000 平米的 LED 虚拟影棚。影棚配置有 40m*6m 的 240° 弧形 LED 立面屏幕，并配有可上下移动的 100 多平方米的天幕。LED 点间距 2.3，支持高速拍摄。
　　为了在硬件和软件上持续保持领先， CDD 与业内领先企业频繁交流，不断改进自研软件以提升虚拟拍摄影棚的制作体验。
　　客户挑战
　　在虚拟影棚中，LED 立面屏幕被分割为多个显示区域，每个显示区域由不同的工作站驱动，其呈现的内容则由其搭载的 GPU 渲染完成。
　　在实时拍摄过程中，需要 LED 光照、实时摄像机追踪和实时渲染投屏三者的结合，实现前台演员和虚拟背景之间的完美整合。这种拍摄方案消除了对绿幕合成的需求，让摄像机直接拍摄最终成像。
　　而所有需要在大型 LED 立面屏幕上显示实时渲染内容的行业都面临着一个普遍挑战，即每个渲染节点其实是一个独立运行工作站，在实际拍摄制片过程中，不仅需要消耗大量的计算资源用于渲染高分辨率高帧率的高品质实时内容，还需要同步所有渲染节点间的技术参数，同时推进所有显示媒介的呈现内容。目前鲜有人在这一领域取得突破，原因可以归纳为以下几个方面：
　　每台工作站需要独立渲染特定显示区域的内容，在保证高标准画面渲染细节的同时还需要维持面板刷新一致，对 GPU 性能提出了极高要求。节点间存在通讯障碍，普通同步方式不能保证所有节点的帧同步，一旦出现不同步就会造成画面撕裂影响观看体验。节点间参数同步和数据传输占用了大量的网络带宽和 CPU 资源，进一步造成节点间时间同步的不可预测。
　　由于上述瓶颈导致渲染平台整体无法进一步提升成片的帧率和分辨率，无法进一步满足人们对于高帧率渲染实时内容的需求。
　　应用方案
　　客户的超大分辨率渲染平台通过集成 NVIDIA Rivermax 整体方案，解决了这些难题。完成集成后的系统架构如下图所示：
　　图 1. 系统架构图
　　新的平台由 NVIDIA RTX A6000 承担分布式实时渲染任务。RTX A6000 拥有 48GB 显存，可以将拍摄场景需要的模型和纹理数据全部加载到显存中，在拍摄过程中按需调用。渲染节点支持多 GPU 进行视口渲染，此模式支持创作者指定一个 GPU 渲染特定视口，并通过 NVLink 将渲染结果直接复制到另一个 GPU 上显示输出。而多个显示区域则通过 NVIDIA Quadro Sync II 同步 vsync 信号，并结合 NVIDIA 专业显卡提供的 NVAPI swapgroup/barrier 技术将渲染结果完美的拼合在一起。
　　此外整个渲染平台通过添加 NVIDIA BlueField-2 DPU 和 NVIDIA Spectrum-3 交换机，具备了运行 NVIDIA Rivermax 整体方案的硬件能力。
　　NVIDIA Rivermax 提供了高性能的流媒体传输服务，这种服务在 Windows 平台上实现了 GPU Direct P2P 支持，消除了额外的 GPU 显存到系统内存的拷贝，降低了操作系统层面的延迟，同时也降低了 CPU 资源的占用，从而让整个渲染平台的运行更为可靠。启用 NVIDIA Rivermax 后，单颗 CPU 核心可以轻松收发 100Gbps 的媒体流。
　　图 2. 单颗 CPU 核心收发 100Gbps 媒体流
　　而且整个平台也具备了部署 DOCA Firefly 的条件。DOCA Firefly 是 NVIDIA 提供的基于硬件的精确时间同步服务。在 NVIDIA BlueField-2 DPU 上部署 DOCA Firefly 可以实现纳秒级别的时间同步精度，其典型值如下表所示：
　　使用效果及影响
　　腾讯 CDD 综合 NVIDIA 提供的各项产品，使用 NVIDIA RTX A6000 实时渲染，使用 NVIDIA Rivermax 在 GPU 显存间直接传输数据，使用 NVIDIA BlueField-2 DPU 部署精确时间服务 DOCA Firefly 来同步所有渲染节点的系统时钟，使用 NVIDIA Spectrum-3 交换机复制 GPU 显存数据并承载时钟网络，通过这一系列改进措施，最终实现了在 LED 立面屏幕上以超低延迟呈现数字流资产的能力。