4K8K电视中的超分辨率技术的降质模型到底是啥？看这篇就够了

　　图像的超分辨率技术，就是指对低分辨率图像（Low Resolution，LR），使用频域或者空域的相关方法，恢复出高分辨率图像（High Resolution，HR）的技术。超分辨率算法的处理基础是建立准确的降质模型。那么降质模型的结构如何？包括哪些内容？我们今天就来聊一聊。
　　图一降质模型从何而来？
　　在获取图像的过程中，受到传感器等相关技术约束和大气辐射等外界条件的影响，一定程度的模糊、变形、下采样和噪声等问题会出现在获得的图像中。
　　成像设备因为自身的光学性能会引起模糊，拍摄过程中，人为或其他原因引起的设备自身发生抖动而引起变形（平移运动，旋转运动），以及因为硬件条件所限引起欠采样致使的分辨率下降，并且在图像的拍摄、传输和处理过程中，引入的各种噪声，如椒盐噪声和高斯噪声等。
　　图二 噪声
　　经过以上分析，我们可以得到超分辨率算法中的降质模型。降质模型的结构
　　图三 降质模型
　　从上图看出，假设原始场景图像为X，其大小为s1R x s2C，s1和s2分别为横向和纵向的缩放比，则得到的低分辨率的观测图像y，大小为R x C。降质模型的具体过程运动变形：获得图像过程中，因为场景和设备之间的相互平移或者旋转运动所引起的变形。一般引起变形的运动包括：局部运动与全局运动。局部运动指图像中的不同位置和场景的运动之间有完全不同的独立特性，在建模过程中需要采用不同的参数。整体运动指图像中所有部分和场景的运动之间完全相同，在建模过程中能够使用相同的参数。模糊：分为光学模糊、帧内运动模糊以及传感器自身的模糊。光学模糊指光照等外界因素对获得图像的影响。帧内运动模糊指一帧图像内部的相互影响引起的模糊。传感器模糊指成像设备硬件所引起的模糊。降采样：设备在获得图像时，因为设备的硬件自身引起的图像的下采样。即把s1R x s2C的高分辨率图像转换成R x C的低分辨率图像，在横向和纵向的缩放因子为s1和s2，一般情况下，横向和纵向的缩放倍数相等，即s1和s2相等。噪声：图像在拍摄、传输、存储和处理的过程中，引入的随机噪声。随机噪声的来源主要有：运动、模糊以及其他种类的噪声。小结
　　人们对于超分算法中降质过程的研究是逐步推进的，对运动变形的研究，从只考虑平移运动到平移、旋转运动都进行建模，从假设整幅待处理图像只具有一种统一的噪声模型，到对图像进行噪声的自适应建模，以上的降质模型才得以不断完善。
　　不论是基于频域还是基于空域的超分辨率算法，它们的实质都是尽可能的在一个准确的降质模型基础上，对观测图像进行去噪声、上采样、去模糊等处理，即完成降质过程的逆过程，进而最大限度的恢复出高分辨率图像 ，完成超分辨率处理。