Gradient Inference Network(GiN)

对于GIN网络，网络输入4-channel的tensor（3通道图像和1通道梯度），使用Unet的结构进行cross-scale的feature提取。为了更好的保留sharp details和避免gradient information丢失

Image inference Network(IiN)

使用fine-tuned的VGG网络进行feature extraction，使用Inception-ResNet-v2用于更好的提取特征。多尺度表征在inverse problems上有较好的表现，因此在网络上进行相连（网络图上很清楚）

loss function

在IiN网络中使用SSIM loss，但是尽管SSIM具有感知上的贡献，但由于它对均匀偏差不敏感，因此可能会导致亮度变化和颜色偏移，从而使最终结果变得晦暗。所以又使用了L1 loss对background layer进行恢复。

在GiN中，SSIM中的亮度和对比度分量变得不确定。因此，我们忽略了原始SSIM中对比度和亮度的依赖性，并将GiN的损失函数定义为

$\mathcal{L}^{\mathrm{SI}}\left(x, x^{\star}\right)=1-\mathbf{S I}\left(x, x^{\star}\right)$$，where $$\mathbf{S I}=\frac{2 \sigma_{x x^{\star}}+c}{\sigma_{x}^{2}+\sigma_{x^{\star}}^{2}+c}$

所以loss为 $\begin{aligned} \mathcal{L}=& \gamma \mathcal{L}^{\mathrm{SSIM}}\left(\mathbf{B}, \mathbf{B}^{\star}\right)+\mathcal{L}_{1}\left(\mathbf{B}, \mathbf{B}^{\star}\right)+\\ & \mathcal{L}^{\mathrm{SSIM}}\left(\mathbf{R}, \mathbf{R}^{\star}\right)+\mathcal{L}^{\mathbf{S I}}\left(\nabla \mathbf{B}, \nabla \mathbf{B}^{\star}\right) \end{aligned}$

训练方案

GiN先训练50epoch，然后和IiN一起训练。并且使用multi-size training strategy by feeding images of two sizes: coarse scales 96 × 160 and fine scale 224 × 288

metric

使用SSIM和SI，并且又基于region提出改进的SSIM和SI，这个还是比较创新的地方。