WCT2：小波变换风格迁移

WCT: Whiten- Color Transform

前言

假设X是一个均值为0的向量，那么我们可以得到其协方差矩阵：

Σ=E(XX^T)

一旦 X中的向量相互都不关联，其协方差矩阵就是一个对角矩阵。

白化变换（Whitening Transformations)

图像白化（whitening）可用于对过度曝光或低曝光的图片进行处理，白化的目的就是去除原始向量中各维度的相关性，且每个维度的方差为1。

去除向量X中各维度之间的相关性 Y=Φ^TX使得向量X中每个维度的方差为1，即使得协方差矩阵的对角线上的元素相同 W=Λ^−1/2Y=Λ^−1/2​ Φ^T X 上色（Coloring Transformations）

上色本质上就是白化操作的逆操作

化协方差矩阵为非单位阵: 对协方差矩阵Σ进行特征值分解Y=Λ^1/2​ S, 进行白化中第二步的逆操作，得到Y=Λ^1/2​ S

化协方差矩阵为非对角阵，进行白化第一步操作的逆操作 X=ΦY=Φ Λ^1/2​ S

Upsampling, UpPooling, Transpose Convolution

Upsampling（上采样） 上采样相当于做了一个均值池化操作的反操作，生成的图像会比较平滑，严重的话会有些模糊的纹理，因为只保留了低频信息。Uppooling（反池化） Transpose Convolution（转置卷积／反卷积） 首先对原始特征图进行插值得到放大后的特征图，再对插值后的特征图进行卷积得到最终的结果

Wavelet Transforms（小波变换）

WCT²

为了更好的保留content image的空间内容信息 WCT直接沿用vgg中的pooling层和upsampling层，这样对空间信息有较大的损失PhotoWCT 将pooling层换成unpooling层，从而可以一定程度保留相对的空间位置信息WCT2 将pooling层换成小波池化层， upsample 换成小波unpooling 可以实现无损的保留空间信息

Mean Pooling或Max Pooling是不可逆的。一旦进行平均池化或者最大池化，新的特征空间无法保留原先特征空间的所有信息。而小波变换能恢复所有的原始特征。

wavelet pooling and unpooling the low-pass filter captures smooth surface and texture while the high pass filters extract vertical, horizontal, and diagonal edgelike information.

选择Haar小波是因为这种方法将原始信号分解为可捕获不同分量的通道，导致风格化结果更好。 只有低频特征LL被传到下一个编码器中，高频信息(HH,HL,LH)被直接送到decoder里。

然后，作者在论文中加粗了一句话打脸了photoWCT提出使用WCT效果反而比使用Unpooling的好。所以，作者明确指出PhotoWCT生成图像质量好的主要原因还是第二阶段中经过“流形排序”处理了。

the final visual qualities of PhotoWCT majorly come from the powerful post-processing, especially the smoothing step, not the network itself.