帧彩视界之PseudoHDR为普通SDR设备用户提供HDR体验

　　＂帧彩视界＂是微帧科技以高清视觉体验为核心打造的一款视频AI智能化产品。利用机器学习与深度学习技术，在画质增强、HDR、超高清处理等方向，打造了一系列解决方案。＂帧彩视界＂可应用于超高清视频内容从生产-加工-观看的全链条过程，为用户提供卓越的观感体验。
　　本文将向大家分享在＂帧彩视界＂核心技术之一Pseudo HDR的背后，微帧是如何提高画质的。
　　HDR，这个概念在近几年被炒的非常火热，从2015年开始，HDR作为一种显示标准，在电视行业开始迅速蔓延，并逐渐在中高端手机、平板电脑等移动终端上应用。
　　不是所有设备都支持HDR视频解码和显示，因此，对于普通SDR设备用户而言，要想获得类似HDR的视觉效果，Pseudo HDR这项技术变得尤为重要。
　　大家所熟知的几大TOP视频平台中的VIP尊享画质，便采用了类似技术。此类尊享画质视频能够呈现出令人惊艳的亮度、对比度和色彩，无论是高光还是黑暗处的细节都一览无余，给人栩栩如生的感觉。  01、Pseudo HDR
　　在今年10月的Demuxed峰会中， 微帧科技联合创始人兼首席科学家Zoe Liu 重点向大家介绍了Pseudo HDR技术的高效实现，此项技术目的是为那些不支持HDR播放的SDR设备，提供接近HDR效果的视觉体验。
　　左：源视频截图 右：微帧Pseudo HDR处理后的视频截图
　　随着视频拍摄/播放设备的不断更新迭代，以及社交媒体平台的极大普及，人们对追求更高清画质视频的欲望日益强烈，各媒体平台为了提升用户体验质量（QoE）也是大费周章，除了通过高效编解码等技术来保障画质清晰度及播放流畅度以外，画面色彩的增强也成了重点关注的对象。
　　其中一项通过增强画质来提高QoE的方法是，在将视频送入编码器/转码器以进一步分发之前，实行Pseudo HDR预处理，它能够让输入的视频保持相同的比特深度 （比如8 bit） ，旨在优化视频中超暗或者超亮区域的细节，以生产更具视觉冲击力的内容，最终呈现在用户端，而无需特殊渲染工具，例如支持HDR的设备。
　　Pseudo HDR技术背后的算法主要是基于限制对比度自适应直方图均衡（CL-AHE），对一个视频帧中的不同区域推导出不同的直方图均衡化转换函数，以增强那些更亮和更暗区域的对比度，有了对比度的限制，可以防止噪音被放大。
　　现有的CL-AHE方法主要研究并应用于静止图像，而微帧的目标是开发一种适用于视频的Pseudo HDR技术，以增强视频用户体验质量。
　　目前，微帧采用了CL-AHE作为视频转码前预处理的一部分，既充分利用转码服务端丰富的计算资源，又无需依赖最终渲染设备，达到用户一致的视频增强效果。  02、潜在挑战
　　对视频进行Pseudo HDR预处理的潜在挑战如下：
　　1、超亮或超暗区域呈现的噪声，如压缩伪影噪声，很容易被AHE转换放大，从而影响视觉效果。
　　2、保持视频的时间一致性是非常关键的，因为视频不是简单的静态图像，如果在对比度增强的像素变换中不考虑时域特征，跨帧闪烁等伪影，尤其是黑暗区域中的伪影就会变得非常明显，从而降低整体视觉体验。对视频来说，时域的平滑度和流动性甚至比空间域的每帧视觉质量更为重要。
　　3、转换后的视频可能会大很多，比如，源视频黑暗区域的边缘和精细纹理可以在原始SDR内容中被压缩，视频质量不会降低太多。但经过Pseudo HDR处理后，会暴露出更多更精细的纹理，因此需要分配更多的bits才能获得足够好的视觉体验。  03、微帧Pseudo HDR技术优势
　　视频加载中...
　　Pseudo HDR始终是微帧致力推动的一个创新方向，为了解决上述问题，让视频用户享受最佳的视觉体验，微帧实施了以下方法：
　　1、对于对比度变换后，超亮区域可能产生的更亮画面结果，微帧开发了 基于亮度级别的自适应方法来抑制这种现象， 同时保持其他区域的正常转换。
　　右图为微帧Pseudo HDR处理结果
　　2、AHE经常导致皮肤区域的颜色失真，针对此现象，微帧研发了几种方式进行抑制， 如快速人脸检测、皮肤检测和基于颜色的区域分割， 从而促使Pseudo HDR将皮肤区域与其他区域区分开，并应用特定的对比度变换来保持准确的肤色。
　　右图为微帧Pseudo HDR处理结果
　　3、相邻帧间对比度变换后，更精细的纹理会被过度放大，因变换不一致导致的闪烁或闪烁伪影，在超暗区域中出现的频率会更高。 微帧针对这些区域进行了精细化检测，并应用自适应联合空间和时间滤波来约束时域中的差异，提高了变换后相邻帧之间的一致性。
　　4、应用Pseudo HDR处理，很可能会导致码率增加20%以上。除了更精细的纹理会被过度放大，还可能会出现条带伪影，源视频的现有压缩伪影也可能会被夸大，这些都会让编码效率大打折扣。 微帧在ROI检测、去噪和去色带（debanding）等方法的应用下，不仅能改善Pseudo HDR处理后的视觉伪影，还可以衰减视频中的高频分量，从而大大降低码率。
　　视频加载中...
　　左：源视频，相同时长TS片段总体码率 8250 kb/s
　　右：微帧Pseudo HDR处理结果，相同时长TS片段总体码率 4536 kb/s
　　5、Pseudo HDR处理过程可能会增大计算复杂度、造成更多的延迟，因此， 微帧在Pseudo HDR处理中开发了一系列的方法，以服务不同的用户场景，其中每个预设对应了一组算法参数，便于生成计算复杂度(延迟)、视觉质量和码率等多种联合性能。 当然，Pseudo HDR的预处理模块也可以与编码器相融合，结合微帧的编码优势，可以让视频画质更好，码率更低。
　　不可否认的是，视频播放设备的迭代速度非常之快，但要实现HDR全民化的愿景，依然还有很长的路要走。因此，Pseudo HDR仍然是目前非常值得关注与推崇的一项技术。微帧也将继续专注于超高清解决方案＂帧彩视界＂的探索与研发，不断增强处理效率，不断扩大可享用超高清视频的用户覆盖面，让更多用户获得更真实更极致的视觉体验！