您的位置：首页 >聚焦 >

最新ICCV 2021 | GAN开集识别（24）GAN人脸识别（25）生成对抗GAN

2022-04-11 08:50:38 来源：程序员客栈

（1）GAN改进系列

图像编辑系列之（2）基于StyleGAN（3）GAN逆映射（4）人脸（5）语义生成

图像恢复系列之（6）超分（7）反光去除（8）光斑去除（9）阴影去除（10）水下图像失真去除

图像恢复系列（11）之修复（inpainting）

图像检测系列之（12）异常检测（13）拼接伪造（14）deepfake

图像检测系列之（15）图像分割（16）图像外插值

图像转换 image translation系列（17）

文字生成图像（18）说话人生成（19）

风格迁移（20）

虚拟试衣（21）图像编辑-文本引导（22）图像编辑-单样本（23）

二十四、开集识别68、OpenGAN: Open-Set Recognition via Open Data Generation

实际应用中，机器学习系统需要分析与训练数据不同的测试数据。在 K-way 分类中，这也被表述为开集识别，其核心是区分 K 个闭集类之外的开集数据的能力。

开放集识别的两个概念上优雅的想法是：1）通过利用一些异常数据作为开放集来学习开集与闭集的二分类判别器，以及 2）使用 GAN 无监督学习闭集数据分布。由于对异常数据的过度拟合，对各种开放测试数据的泛化能力很差，这些异常值不太可能详尽地代表开集情况。后者效果不佳，GAN 训练不稳定。

本文提出OpenGAN，在一些真实异常数据上精心挑选的 GAN 判别器已经达到非常不错的水准；用对抗性合成的“假”数据增加了可用的真实开放训练集。最重要的，它在封闭世界 K-way 网络计算的特征上构建判别器。大量实验表明，OpenGAN 明显优于之前方法。

二十五、人脸识别69、SynFace: Face Recognition with Synthetic Data

随着最近深度神经网络的成功，人脸识别取得了显著进展。但收集用于人脸识别的大规模真实世界训练数据具有挑战性，尤其是由于标签噪声和隐私问题。同时，现有的人脸识别数据集通常是从网络图像中收集的，缺乏对属性（例如姿势和表情）的详细注释，因此对不同属性对人脸识别的影响研究很少。

本文使用合成人脸图像（即 SynFace）解决人脸识别中的上述问题。具体来说，探讨使用合成和真实人脸图像训练的最先进的人脸识别模型之间的性能差距。然后，分析性能差距背后的根本原因，例如，较差的类内变化以及合成和真实人脸图像之间的域差距。受此启发，设计了具有身份混合 (IM) 和域混合 (DM) 的 SynFace，以缩小上述性能差距，展示了合成数据在人脸识别方面的巨大潜力。

此外，通过可控的人脸合成模型，可以轻松管理合成人脸的不同因素，包括姿势、表情、光照、身份数量和每个身份的样本。因此，还对合成人脸图像进行了系统的实证分析，以提供一些关于如何有效利用合成数据进行人脸识别的见解。

70、Learning Facial Representations from the Cycle-consistency of Face

人脸在许多方面会有很大的变现差异，例如身份、表情、姿势和妆容。因此，从人脸图像中解耦和提取这些特征是一个巨大的挑战，尤其是在无监督的情况下。

这项工作将人脸特征中的循环一致性作为监督信号引入，以从未标记的人脸图像中学习人脸的表征。通过叠加人脸运动一致性和身份一致性约束来实现学习。人脸运动一致性的主要思想是，给定一张有表情的人脸，可以通过去除表情，并进行重建回原始人脸。身份一致性通过特征重新规范化去除身份特征得到平均脸，并通过将个人属性添加到平均脸来重新恢复到原始脸。

在训练时，模型学习解耦两种不同的人脸表示，以用于执行循环一致的重建。在测试时，评估各种任务的人脸表征效果，包括表情识别和头部姿势回归。还可以将学习到的表征直接应用于识别、正面化和图像到图像的转换。

https://github.com/JiaRenChang/FaceCycle

71、Teacher-Student Adversarial Depth Hallucination to Improve Face Recognition

提出“师生生成对抗网络 (TS-GAN， Teacher-Student Generative Adversarial Network) ”从单个 RGB 图像生成深度图像，以提高人脸识别系统的性能。为泛化到未知的数据集，设计教师模块和学生模块。

教师本身由一个生成器和一个判别器组成，以监督的方式学习输入 RGB 和对应的深度图像之间的潜在映射。

学生由两个生成器（一个与教师共享）和一个判别器组成，它从没有可用配对深度信息的新 RGB 数据中学习，以提高泛化能力。然后可以在运行时使用经过充分训练的共享生成器从 RGB 中产生虚拟的深度信息，以用于人脸识别等下游应用。

人脸识别实验表明，与单一 RGB 模态相比，性能提高 +1.2%、+2.6% 和 +2.6%( IIITD、EURECOM 和LFW 数据集)。

https://github.com/hardikuppal/teacher-student-gan.git

猜您喜欢：

戳我，查看GAN的系列专辑~！

一顿午饭外卖，成为CV视觉的前沿弄潮儿！

超110篇！CVPR 2021最全GAN论文汇总梳理！