【论文阅读】Mop Moire Patterns Using MopNet(ICCV2019)

ICCV2019的论文。算是比较新的一篇用于demoire的论文。论文对摩尔纹的三种不同特性进行分析,并针对性的使用网络进行处理,把demoire的热度又炒了起来。

moire多样复杂,形状呈空间变化的条纹、曲线或波纹。 波纹图案还会将颜色变化叠加到图像上,从而大大降低图像的视觉质量。因此用传统的image restoration方法并不能很好的进行demoire,所以论文详细分析了moire的特性和机理,从以下三个方面进行demoire:

  • Multi-scale feature aggregation
  • Channel-wise target edge predictor
  • Attributes-aware moire pattern classifier
    为此分别设计了下面的网络结构进行demoire。

Multi-scale feature aggregation

摩尔纹出现在低频区域,和图片相互重合,很难去除。因此使用多尺度feature extractor进行特征提取,并使用SENet对features进行不同权重的组合。网络结构如图

Channel-wise target edge predictor

moire形成具有明显边缘幅度的曲线和条纹,在RGB上的表现是不同的,见下图。

因此设计了下图的网络进行channel-wise的颜色特征的边缘提取网络,注意:该部分需要先进行训练以便初始化。

Attributes-aware moire pattern classifier

Moire的形状不同,这里作者对不同类别的pattern进行标注,并pretrain了一个classifier,结构如下:

loss

使用边缘loss+reconstruction loss+perceptual loss

论文针对数据集的外在表现,进行三种不同模块的设计。可能并没有涉及到成像原理或者是更加本质的东西,这个可能是现在demoire网络的通病,是否可以针对传统算法进行网络化处理,或者是针对更加本质的数据特征进行demoire重建,都是可能深入研究的重点。

本文标题:【论文阅读】Mop Moire Patterns Using MopNet(ICCV2019)

文章作者:Zeyuxiao

发布时间:2020年01月27日 - 12:01

最后更新:2020年01月27日 - 16:01

原始链接:https://zeyuxiao1997.github.io/2020/01/27/MopNet/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。