《GAN万字长文综述.docx》由会员分享，可在线阅读，更多相关《GAN万字长文综述.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、GAN万字长文综述 关于本小节的符号对照关系如下 :生成数据分布 表示真实数据分布:数学期望:输入样本 表示为生成样本的采样 表示为真实样本的采样。:样本标签:分类网络 通常选择Inception network 下面分别对常见的评价指标进展一一介绍 4.1.1 Inception Score 对于一个在ImageNet训练良好的GAN 其生成的样本丢给Inception网络进展测试的时候 得到的判别概率应该具有如下特性 对于同一个类别的图片 其输出的概率分布应该趋向于一个脉冲分布。可以保证生成样本的准确性。对于所有类别 其输出的概率分布应该趋向于一个均匀分布 这样才不会出现mode drop
2、ping等 可以保证生成样本的多样性。 因此 可以设计如下指标 根据前面分析 假如是一个训练良好的GAN 趋近于脉冲分布 趋近于均匀分布。二者KL散度会很大。Inception Score自然就高。实际实验说明 Inception Score以及人的主观判别趋向一致。IS的计算没有用到真实数据 详细值取决于模型M的选择 特点 可以一定程度上衡量生成样本的多样性以及准确性 但是无法检测过拟合。Mode Score也是如此。不推荐在以及ImageNet数据集差异比拟大的数据上使用。 4.1.2 Mode Score Mode Score作为Inception Score的改良版本 添加了关于生成样
3、本以及真实样本预测的概率分布相似性度量一项。详细公式如下 4.1.3 Kernel MMD (Maximum Mean Discrepancy) 计算公式如下 对于Kernel MMD值的计算 首先需要选择一个核函数 这个核函数把样本映射到再生希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) RKHS相比于欧几里得空间有许多优点 对于函数内积的计算是完备的。将上述公式展开即可得到下面的计算公式 MMD值越小 两个分布越接近。 特点 可以一定程度上衡量模型生成图像的优劣性 计算代价小。推荐使用。 4.1.4 Wasserstein distance W
4、asserstein distance在最优传输问题中通常也叫做推土机间隔 。这个间隔 的介绍在WGAN中有详细讨论。公式如下 Wasserstein distance可以衡量两个分布之间的相似性。间隔 越小 分布越相似。 特点 假如特征空间选择适宜 会有一定的效果。但是计算复杂度为太高 4.1.5 Frchet Inception Distance (FID) FID间隔 计算真实样本 生成样本在特征空间之间的间隔 。首先利用Inception网络来提取特征 然后使用高斯模型对特征空间进展建模。根据高斯模型的均值以及协方差来进展间隔 计算。详细公式如下 分别代表协方差以及均值。 特点 尽管只
5、计算了特征空间的前两阶矩 但是鲁棒 且计算高效。 4.1.6 1-Nearest Neighbor classifier 使用留一法 结合1-NN分类器 别的也行 计算真实图片 生成图像的精度。假如二者接近 那么精度接近50% 否那么接近0%。对于GAN的评价问题 分别用正样本的分类精度 生成样本的分类精度去衡量生成样本的真实性 多样性。 对于真实样本 进展1-NN分类的时候 假如生成的样本越真实。那么真实样本空间将被生成的样本包围。那么的精度会很低。对于生成的样本 进展1-NN分类的时候 假如生成的样本多样性缺乏。由于生成的样本聚在几个mode 那么很容易就以及区分 导致精度会很高。 特点
6、理想的度量指标 且可以检测过拟合。 4.1.7 其他评价方法 AIS KDE方法可以以用于评价GAN 但这些方法不是model agnostic metrics。也就是讲 这些评价指标的计算无法只利用 生成的样本 真实样本来计算。 4.1.8 总结 实际实验发现 MMD以及1-NN two-sample test是最为适宜的评价指标 这两个指标可以较好的区分 真实样本以及生成的样本, mode collapsing。且计算高效。 总体讲来 GAN的学习是一个无监视学习经过 所以很难找到一个比拟客观的 可量化的评估指标。有许多指标在数值上固然高 但是生成效果却未必好。总之 GAN的评价目前仍然是
7、一个开放性的问题。 4.2 GAN与强化学习的关系 强化学习的目的是对于一个智能体 给定状态 去选择一个最正确的行为(action)。通常的可以定义一个价值函数来衡量 对于状态 采取行动的回报是 显然 我们祈望最大化这个回报值。对于很多复杂的问题 我们是很难定义这个价值函数的 就像我们很难定义GAN生成的图片到底有多好一样。 讲到这里 大众可能反响过来了。GAN生成的图片好不好 我确实找不到一个适宜的指标 那我学习一个判别器去判断一下生成图片以及真实图片的间隔 不就好了吗。强化学习里面的价值函数难以定义 那直接用个神经网络去学习它就好了。典型的模型有DDPG TRPO等等 4.3 GAN的优缺
8、点 4.3.1 优点 GAN的优点在开始已有所介绍。这里再总结一下 GAN可以并行生成数据。相比于PixelCNN PixelRNN这些模型 GAN生成非常快 因为GAN使用Generator替代了采样的经过GAN不需要通过引入下界来近似似然。VAE由于优化困难 引入了变分下界来优化似然。但是VAE对于先验以及后验分布做了假设 使得VAE很难逼近其变分下界。从理论来看 GAN生成的结过要比VAE更明晰的多。 4.3.2 缺点 GAN的缺点在前文也有详细讨论 主要问题在于 训练不稳定 容易崩溃。这个问题有学者提出了许多解决方案 比方WGAN LSGAN等形式崩溃。尽管有很多相关的研究 但是由于图
9、像数据的高维度特性 这个问题仍然还没完全解决。 4.4 将来的研究方向 GAN的训练崩溃 形式崩溃问题等仍然有待研究改良。 Deep learning尽管很强大 但目前仍有许多领域无法征服 期待GAN在此根底上会有一些作为 1: Hong, Yongjun, et al. How Generative Adversarial Networks and its variants Work: An Overview of GAN. 12: Salimans, Tim, et al. Improved techniques for training gans. Advances in neural
10、information processing systems. 2016. 15: Zheng Z , Zheng L , Yang Y . Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in VitroC/ 2017 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society, 2017. 16: Yuan Xue, Tao Xu, Han Zhang, Rodney Long,
11、and Xiaolei Huang. Segan: Adversar- ial network with multi-scale l_1 loss for medical image segmentation. arXiv preprint arXiv:1706.01805, 2017. 17: Denis Volkhonskiy, Ivan Nazarov, Boris Borisenko, and Evgeny Burnaev. Steganographicgenerative adversarial networks. arXiv preprint arXiv:1703.05502, 2017. 18: Shin, Hanul, et al. Continual learning with deep generative replay. Advances in Neural Information Processing Systems. 2017.