基于残差精炼的新模块提升图像超分辨性能

近年来基于深度学习的单图像超分辨技术得到飞速发展，从SRCNN到VDSR，从DRCN到MSRN深度学习模型，解决了一个又一个超分辨率领域的难题。但目前的研究结果也表明，盲目地使用残差结构和稠密连接将导致模型过分地复用特征，使得网络臃肿膨胀同时难以训练。

为了解决这一问题，来自西安电子科技大学的研究人员基于残差网络提出了一种简单高效的信息提炼方法DRN(distilling with residual network)用于单图像超分辨率技术，利用高效获取信息的残差精炼单元(RDB,residual distilling block)及其堆叠的组操作(RDG, residual distilling group)，实现了对于信息更好的抽取和提炼，并平衡了模型的大小与性能，达到了非常好的图像超分辨率效果。

残差精炼模块RDB

为了有效地抽取并提炼低分辨率图像中的信息，研究人员提出了高效的残差精炼单元RDB来对图像进行操作。RDB中包含了两个分支，其中一个分支用于进行基本的残差操作；另一个分支则用于从输入中提炼出有效的信息，在融合信息的同时保持了对于重要特征的抽取能力。

图中显示的残差精炼单元的构造

其中的块状结构为每次操作输出的张量输出

上图显示了RDB模块的基本构成，其中Di表示输入，Di+1表示模块的输出。在模块最开始的位置，输入的Di 通过卷积的作用得到量两个中间输出(1*1，3*3，1*1的卷积)，其中Dout,i表示这一层级侧残差输出，而d则表示第i层和第i+1层之间的信息精炼通道。

随后输入Di与残差输出Dout,i相加，并与d相接，构成的整个RDB模块将从中抽取有效的信息辅助超分辨率中高频信息的重建。此外在RDB的最后位置引入了1*1的卷积核用于特征融合。

基于RDB模块，研究人员将RDB堆叠成组操作，并使得RDB模块的输出可以接入下一个RDB模块的每一层，使特征可以进行连续的转换。随后研究人员还在多个堆叠的RDB模块间加入了一条长程的跳接，用于保存先前阶段信息，在有效抽取特征的同时将有助于网络融合局部与全局特征，并得到有利于图像重建的有效特征。

网络架构

在RDB和RDG的基础上，研究人员构建了基于残差网络的精炼模型，其中主要包含三个组成部分：低层级特征抽取LFE，残差精炼组的操作RDGs以及最终进行图像重建的操作。

在这一网络架构中，除了进行底层信息抽取和图像重建的模块外，最重要的就是n个残差精炼的组操作RDGs，其中每个组操作中包含了K个残差精炼模块RDB。整个模型可以表达成下面的式子：

从内到外分别表示了特征提取操作，残差组操作和信息融合以及最后的图像重建。针对每个组操作中的特征抽取模块，可以看作是多个RDB模块操作Fg的融合以及长程跳接的衔接：

整个模型的结构可以理解为多个残差模块的操作堆叠成残差提炼组操作，而多个组操作又结合在一起实现了更有效的特征抽取和残差提炼，最终层层叠加与与融合实现了最后的特征输出。

基于这些特征研究人员利用pixelshuffle的方法进行上采样和图像重建，并选择了MAE作为损失函数进行训练。

最终研究人员在DIV2K上进行了充分地训练，并在Set5，Set14，Urban100，BSDB100，Manga109等基准数据集上进行了测试，分别在2x-3x-4x倍的超方便率尺度上进行了实验。

结果表明，与其他先进的方法相比，DRN系列方法在峰值信噪比和结构相似性等方面均取得了较好的提升。

在使用更少参数的训练下能达到与先前的模型接近甚至更好地结果：

最后来看一下在数据集图像上取得的显著效果，可以看到DRN模型可以更好地克服人工恢复的模糊痕迹，并保留更多的细节信息。

恢复出的文字也较为清晰可辨：

此外对于线条的恢复能力也较强，去除模糊的同时，对于线条细节的恢复较好：