2020 TIFS之ReID:Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learnin

    科技2023-10-20  99

    Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learning 简述: 现有的方法通常只学习了跨模态特征,而忽略了图像层次的差异。生成图像的思路目前有些方法采用GAN生成交叉模态图像,但会破坏局部结构并引入噪声。本文通过生成的RGB图像的灰度图作为辅助,以减少RGB与IR图像的large gap。

    模型:

    本文框架方面通过3个3通道(RGB,Gray,IR)的分别输入到共享权重的Res50学习共有特征,重点在loss上: 1.HHI loss:同质和异质分类损失

    首先是个ID loss:

    对RGB和灰度做smooth L1 loss:

    HHI 总loss:

    2.WTDR loss: 这个loss通过同一个身份中RGB和灰度的距离小于RGB和红外这一点巧妙的对triplet loss进行了改进,其中i,j为同一ID,i,k为不同ID,所以,

    带权重后: 同时,再加入了正则化,使得同一类别的不同模态的距离减小:

    实验: 消融实验:

    对比试验:

    总结: 本文主要针对目前GAN的生成效果差的问题进行改进,同样为了生成配准图像,把中心放在了怎么处理这个生成图像的loss上,简单的灰度化后,经过3个loss:HHI loss首先起到分类作用,再减少了RGB和生成的灰度图的距离,HHI loss通过对triplet loss进行改进,将灰度图作为桥梁,巧妙了进行了一个度量学习,最后通过reg loss进一步减少了同一身份不同模态的距离。

    Processed: 0.016, SQL: 8