ICCV2019的论文。算是比较新的一篇用于demoire的论文。论文对摩尔纹的三种不同特性进行分析,并针对性的使用网络进行处理,把demoire的热度又炒了起来。
moire多样复杂,形状呈空间变化的条纹、曲线或波纹。 波纹图案还会将颜色变化叠加到图像上,从而大大降低图像的视觉质量。因此用传统的image restoration方法并不能很好的进行demoire,所以论文详细分析了moire的特性和机理,从以下三个方面进行demoire:
- Multi-scale feature aggregation
- Channel-wise target edge predictor
- Attributes-aware moire pattern classifier
为此分别设计了下面的网络结构进行demoire。
Multi-scale feature aggregation
摩尔纹出现在低频区域,和图片相互重合,很难去除。因此使用多尺度feature extractor进行特征提取,并使用SENet对features进行不同权重的组合。网络结构如图
Channel-wise target edge predictor
moire形成具有明显边缘幅度的曲线和条纹,在RGB上的表现是不同的,见下图。
因此设计了下图的网络进行channel-wise的颜色特征的边缘提取网络,注意:该部分需要先进行训练以便初始化。
Attributes-aware moire pattern classifier
Moire的形状不同,这里作者对不同类别的pattern进行标注,并pretrain了一个classifier,结构如下:
loss
使用边缘loss+reconstruction loss+perceptual loss
论文针对数据集的外在表现,进行三种不同模块的设计。可能并没有涉及到成像原理或者是更加本质的东西,这个可能是现在demoire网络的通病,是否可以针对传统算法进行网络化处理,或者是针对更加本质的数据特征进行demoire重建,都是可能深入研究的重点。