ISP图像处理算法之Demosaic

前言

最近在看ISP算法，被分配到了任务中有一项Demosaic去马赛克算法，用于RAW图转RGB。
多方查询后，效果较为理想的是Adam-Hamilton梯度自适应插值和一种基于LMMSE的方向线性最小均方误差方法—Zhang-Wu Directional LMMSE Image Demosaicking，这是目前看来效果除深度学习以外最好的算法了，先做了解。
Adam-Hamilton梯度自适应插值去马赛克方法和双线性差值法，这两种方法较为简单，但是在纹理密集的地方效果不理想，后续会更新这两种算法的去马赛克步骤。文末会给出参考论文地址。

ZhangWu Demosaic

利用通道色差近似的规则对色素差值进行了LMMSE滤波与噪声估计，提高的算法对纹理密集区域的处理效果。

算法步骤

这个算法核心应该是体现在对估计差值的处理上，算法基于差异信号是平滑这一经验基础上。算法主要分为以下几步：

Directional Estimates方向估计/初步滤波

该步骤主要是建立通道色差表。
算法使用线性插值和二阶拉普拉斯插值对颜色进行初步估计,以红绿像素行为例(蓝绿像素行同理)：

• 在已知红色像素值的的情况下需要估计绿色像素 ${\hat{G}}_n$。
  $${\hat{G}}_n=\frac{1}{2}(G_{n-1}+G_{n+1})-\frac{1}{4}(R_{n-2}-2R_n+R_{n+2})$$
• 在已知绿色像素值的的情况下需要估计红色像素 ${\hat{R}}_n$。
  $${\hat{R}}_n=\frac{1}{2}(R_{n-1}+R_{n+1})-\frac{1}{4}(G_{n-2}-2G_n+G_{n+2})$$

可以看到 $-\frac{1}{4}(R_{n-2}-2R_n+R_{n+2})$ 的部分是使用了一维二阶拉普拉斯插值空域核心 $[1,-2,1]$ 进行插值对绿色像素估计值进行了协助计算。然后利用估算值建立像素通道差值，计算方法如下：

• 对已知红色像素的像素点进行计算时,当前像素点水平GR通道差值为:
  $${\hat{\Phi }}_{g,r}^h=\hat{G}-R_n$$
• 对已知绿色像素的像素点进行计算时,当前像素点水平GR通道差值为：
  $${\hat{\Phi }}_{g,r}^h=G-{\hat{R}}_n$$

其中 ${\hat{\Phi }}_{g,r}^h$ 表示在这个像素点在水平方向上插值计算出的R与G的差,对垂直方向重复上述步骤同样可以得到一个垂直方向上的差值信号 ${\hat{\Phi }}_{g,r}^v$。
对此可以构建出差值表，对于每个像素的位置都可以取得 ${\hat{\Phi }}^v,{\hat{\Phi }}^h$ 随后使用近似高斯滤波器分别对其进行滤波，一维空域核为$[4,9,15,23,26,23,15,9,4]$,滤波器响应为：
$$h(z)=\frac{26}{128}+\frac{23}{128}(z+z^{-1})+\frac{15}{128}(z^2+z^{-2})+\frac{9}{128}(z^3+z^{-3})+\frac{4}{128}(z^4+z^{-4})$$

Fusion of the Directional Interpolations 方向差值融合

在前一小节中计算得到的水平与垂直方向差将在这一小节中融合用作恢复像素。作者利用LMMSE选择了参数最小化估计的均方误差用作水平与垂直方向估计值的融合。
$$w=(1-\lambda )h+\lambda v$$

• $w$ 为最终融合值 ${\Phi }_{g,r}$ 或 ${\Phi }_{g,b}$
• $h$ 为水平估计值 ${\hat{\Phi }}_{g,r}^h$ 或 ${\hat{\Phi }}_{g,b}^h$
• $v$ 为垂直估计值 ${\hat{\Phi }}_{g,r}^v$ 或 ${\hat{\Phi }}_{g,b}^v$
• $\lambda$ 为经过估计的最优参数,其计算方式如下：
  $$\lambda =\frac{{\sigma }_h^2}{{\sigma }_h^2+{\sigma }_v^2}$$

至此，我们就可以通过融合得到的差值恢复出所有像素点的G通道值了。
$$\begin{gathered} G_{n,r}={\Phi }_{g,r}+R_n \\ {G}_{n,b}={\Phi }_{g,b}+B_n \end{gathered}$$

Obtaining the Red and Blue Channels 获取红/蓝通道

经过前一步的操作后，我们恢复了所有的绿色像素值。因此目前像素整列上存在两种情况：
第一种，已知蓝色或红色像素值，并且已经恢复出了绿色像素值。对于该像素点，假如是蓝色，我们需要计算周围对角线上四个已知红色点像素值的GR差值的平均值来对该通道进行插值。
$${\Phi }_{g,r}(i,j)=\frac{1}{4}({\Phi }_{g,r}(i-1,j-1)+{\Phi }_{g,r}(i+1,j-1)+{\Phi }_{g,r}(i-1,j+1)+{\Phi }_{g,r}(i+1,j+1))$$

对于红色通道，计算过程也类似。

第二种，只有绿色像素点已知，这种情况下需要在第一种情况计算完毕之后，利用该点上下左右四个点来插值。

$${\Phi }_{g,r}(i,j)=\frac{1}{4}({\Phi }_{g,r}(i-1,j)+{\Phi }_{g,r}(i+1,j)+{\Phi }_{g,r}(i,j+1)+{\Phi }_{g,r}(i,j-1))$$

最后，
$$R=G-{\Phi }_{g,r}$$
由此我们就恢复出了所有的像素信息。

LMMSE

LMMSE（Linear Minimum Mean Square Error，线性最小均方误差估计）​​ 是一种基于统计的最优线性估计方法，旨在通过线性模型最小化估计误差的均方值（MMSE）。

$${\hat{X}}_{LMMSE}=a(Y-E[Y])+b\text{\hspace{1em}(1)}$$

其中为了得到最优系数使均方误差最小化，要对a，b进行偏微分，这里直接给出结果，对过程有兴趣的可以下载论文查看或自行查询资料。

$$a=\frac{Cov(X,Y)}{Var(Y)}$$

$$b=E[X]$$

• $E[X]$是期望值
• $Cov(X,Y)$是信号与观测的协方差
• $Var(Y)$是观测值的方差

LMMSE Denoising

基于上文最小均方误差估计的思想，论文作者提出了一种基于LMMSE去噪的融合模型。
首先，先对问题进行建模，作者认为自然图像的颜色通道具有很强的相关性，自然场景中的光照（如阳光）和物体表面的反射通常是连续且平滑的。例如，同一物体表面的相邻区域在光照下会表现出相似的颜色变化，导致R、G、B通道的强度变化趋势一致。因此在一块区域内通道差值通常较为恒定。基于这一思想，在建立起水平与垂直差值表后，我们假设对于某个像素：
$h$ 是水平方向的估计，误差为 ${ϵ}_h$, 方差 ${\sigma }_h^2$
$v$ 是垂直方向的估计，误差为 ${ϵ}_v$, 方差 ${\sigma }_v^2$
真实信号是 $u$ ,满足：
$$\begin{gathered} h=u+{ϵ}_h \\ v=u+{ϵ}_v \end{gathered}$$

那么，面对这两个估计值，我们需要找到一个合理的权重，将这两个估值融合在一起以后使其最接近真实值。
我们假设权重是 $\lambda$, 那么有很容易得出
$$w=(1-\lambda )h+\lambda v$$
$w$是融合后的值，那么我们的目标就变成找到权重$\lambda$使得$w$的均方误差(MSE)最小。这一可以使估计值最接近真实值。计算过程如下:
$$\begin{gathered} w-u=(1-\lambda ){ϵ}_h+\lambda {ϵ}_v \\ (w-u{)}^2=((1-\lambda ){ϵ}_h+\lambda {ϵ}_v{)}^2 \\ MSE=E[(w-u{)}^2]=E[((1-\lambda ){ϵ}_h+\lambda {ϵ}_v{)}^2]=0 \\ \frac{\partial MSE}{\partial \lambda }=E[[2(1-\lambda ){ϵ}_h+2\lambda {ϵ}_v]({ϵ}_v-{ϵ}_h)]=0 \\ \frac{\partial MSE}{\partial \lambda }=2E[-(1-\lambda ){ϵ}_h^2+\lambda {ϵ}_v^2+(1-2\lambda ){ϵ}_h{ϵ}_v]=0=>\lambda =\frac{{ϵ}_h^2}{{ϵ}_h^2+{ϵ}_v^2} \end{gathered}$$

论文地址Zhang-Wu Directional LMMSE Image Demosaicking