4K8K电视中基于插值的超分辨率（SR）技术的频域分析

　　图像的超分辨率技术，就是指对低分辨率图像（Low Resolution，LR），使用频域或者空域的相关方法，恢复出高分辨率图像（High Resolution，HR）的技术。超分辨率算法主要分为空域算法和频域算法。昨天的文章中，我们聊了频域处理的一般流程，以及优缺点。
　　今天就来聊一聊基于插值的超分辨率（SR）技术的频域分析（基于插值的空域分析，请见2019/6/3文章《4K/8K电视中的超分辨率技术到底是啥？让我来告诉你（二-插值篇）》）。
　　插值的频域理论基础
　　图像的插值，也称之为图像的缩放，即使用连续的插值核函数对离散的图像进行采样，通过图像待插值点已知部分邻域的像素信息来计算出待插值点的像素信息。
　　根据采样定理，得知等于或大于二倍的奈奎斯特采样频率时，就能通过数字信号处理的相关算法，从离散信号完整的恢复出采样前的连续信号。
　　在频率域中，具体表现为让从采样点处获得的频域信息和具有理想特性的低通滤波器对应的矩形窗进行相乘的运算过程，在频域的点乘运算在时域对应为卷积运算，即理想特性的插值过程为具有理想特性的低通滤波器对应的傅氏反变换与离散样本点之间进行的卷积过程。
　　在时域中，理想特性的插值函数如下式所示：
　　式一 理想特性的插值函数
　　式中，X为待插值点的相位。
　　图一 理想插值函数空域与频域特性
　　理想插值函数的空域和频域特性如上图所示（频谱已经过ffshift移至0点，下同）。
　　由图可以见出，在sinc(x)频域特性是一个具有理想特性的低通滤波器（图中是具有理想特性低通滤波器的近似），即在采样过程中，如果采样频率能够达到奈奎斯特采样频率，就能够完整的复现被采信号。
　　但是注意到sinc(x)的展开式如下式所示：
　　式二 sinc(x)的展开式
　　它是由无穷项累加之和得到的，所以在实际应用中，只能尽可能的去逼近sinc(x)。最邻近插值
　　最邻近插值函数作为对sinc(x)函数最简单的一种逼近方式，一维的表达式如下式所示：
　　式三 最邻近插值函数一维表达式
　　式中：X为邻域内源图像中的点和待插值点之间的距离，称为偏移量。
　　一维的最邻近插值，其空域和频域特性如下图所示：
　　图二 最邻近插值函数的空域特性与频域特性
　　对最邻近插值和具有理想特性的插值函数进行比较，可以看出：最邻近插值函数在通带频率内的增益下降比较迅速，在边带部分的最大幅度很高，整个图像的能量分布过于分散，体现在插值结果中为出现的块效应和锯齿现象。双线性插值
　　双线性插值的主要思想是在横向和纵向分别进行线性插值，在每一单个方向上有2个像素点参与插值。双线性插值的一维表示如下式所示：
　　式四 双线性插值的一维表示
　　其空域与频域特性如下图所示：
　　图三 一维线性插值空域特性与频域特性
　　从频谱图中可以看出，和上一种插值算法相比，一维线性插值的能量没有过多的泄露，但在通带频域内，频谱的高频分量衰减过快，并且高频分量和低频分量会出现频谱混叠。所以在细节区域或者纹理区域，模糊现象容易出现。双三次插值
　　一维双三次插值如下式所示：
　　式五 双三次插值的一维表示
　　其空域和频域特性如下图所示：
　　图四 一维三次插值空域特性与频域特性
　　从频域特性图中看出，此函数的幅频特性和理想低通滤波器sinc(x)十分相近，在通带频谱内几乎没有过冲现象，且在边带频谱区域内幅度较小，但对高频分量不可避免有一定的削减作用,且纹理区域和边缘区域就是处在高频区，因此针对细节和边缘区域，双三次插值处理效果不够理想。
　　小结
　　今天这篇文章的结论和之前发表《4K/8K电视中的超分辨率技术到底是啥？让我来告诉你（二-插值篇）》的结论一致：三种算法在边缘区域都比较差，这就是因为这三种算法在高频部分处理能力有限所导致。
　　所以可以看出，因为基于插值核的缩放算法，由于没有对图像的内容特性进行考虑，所以在图像的高频区域处理效果不理想。
　　参考资料：
　　[1] Meijering E. A chronology of interpolation: from ancient astronomy to modern signal and image processing[J]. Proceedings of the IEEE, 2002.
　　[2] Lehmann TM, Gonner C, Spitzer K. Survey: Interpolation methods in medical image processing[J]. IEEE Transactions on Medical Image, 1999.