《无需成对示例、无监督训练CycleGAN生成图像简直不要太简单.docx》由会员分享，可在线阅读，更多相关《无需成对示例、无监督训练CycleGAN生成图像简直不要太简单.docx（18页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、无需成对示例、无监督训练，CycleGAN生成图像简直不要太简单|JasonBrownlee译者|FreesiaRachel编辑|夕颜出品|AI科技大本营ID:rgznai100【导读】图像到图像的转换技术一般需要大量的成对数据然而要采集这些数据异常耗时耗力。因此本文主要介绍了无需成对例如便能实现图像转换的CycleGAN图像转换技术。文章分为五局部分别概述了图像转换的问题CycleGAN的非成对图像转换原理CycleGAN的架构模型CycleGAN的应用和考前须知。图像到图像的转换涉及到生成给定图像的新的合成版本并进展特定的修改例如将夏季景观转换为冬季。训练图像到图像的转换模型通常需要一个大
2、的成对数据集。这些数据集准备起来既困难又昂贵而且在某些情况下是不可行的比方已故许久的艺术家的画作照片。CycleGAN是一种无需成对例如便可自动进展图像到图像转换的技术。这些模型是采用一批无需关联的来自源域以及目的域的图像以一种无监视的方式训练的。这一简单的技术非常强大在一系列应用领域中获得了令人印象深入的视觉效果最著名的便是将马的照片转换成斑马或者相反。在这篇文章中你将解析非成对的CycleGAN图像到图像的转换技术。读完这篇文章你将解析到图像到图像翻译涉及到对图像的受控修改需要大量成对图像的数据集这些数据集很复杂准备起来很费事有时甚至不存在。CycleGAN是一种通过GAN架构训练的无监视
3、图像翻译模型的技术采用来自GAN两个不同领域的非成对的图像集合。CycleGAN已经有了一系列应用包括季节转换、物体变形、风格转换以及将照片转化为画作。在我关于GANs的新书中我将通过29步的教程以及完好的源代码教你怎样开发DCGAN有条件GANsPix2PixCycleGANs等更多深度学习模型。我们这就开场吧。CycleGAN简介图片为TrishHartmann拍摄保存局部版权概览这一教程分为五局部分别为图像到图像转换的问题CycleGAN的非成对图像转换何为CycleGAN架构模型CycleGAN的应用CycleGAN的操作建议图像到图像转换的问题图像到图像的转换是一个图像合成任务它要求
4、生成一个对给定图像受控修改后的新图像。图像到图像的转换是一种视觉图形问题其目的是使用对齐图像对的训练集学习输入图像以及输出图像之间的映射。UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs/1703.10593图像到图像转换的例如包括将夏季景观转换为冬季景观或者相反。把画作转换成照片或者相反。把马转换成斑马或者相反。传统意义上训练图像到图像的转换模型需要一个由成对例如组成的数据集。这个大型数据集要包含一张输入图片X如夏季景观和带有预期修改的可作为输出预期图
5、像Y的照片如冬季景观。训练时数据集必需要成对这一要求是其局限性所在。这些数据集具有挑战性准备本钱也很高例如不同条件下不同场景的照片。在许多情况下数据集根本不存在比方名画以及它们对应的照片。然而获取成对的训练数据是困难以及昂贵的。为图形任务如艺术风格化获取输入-输出对可能更加困难因为所需的输出非常复杂通常需要艺术创作。对于许多任务例如物体变形例如斑马-马所需的输出甚至没有很好的定义。UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs/1703.10593因此
6、我们需要一种不需要成对例如的图像到图像翻译系统训练技术。详细来讲这种技术可以使用任意两个不相关图像的集合并从每个集合中提取一般特征并用于图像转换经过。例如首先应用大量夏季景观照片集合以及大量场景以及位置都不相关的冬季景观照片集合要求可以将特定的照片从一组转换到另一组。这就是所谓的非成对的图像到图像的转换问题。CycleGAN非成对图像转换CycleGAN是一种成功的非成对图像到图像的转换方法。CycleGAN是一种利用生成对抗网络或讲GAN模型架构训练图像到图像转换模型的方法。我们提出了一种方法可以学习捕获一个图像集的特性并找出怎样在没有任何成对训练例如的情况下将这些特征转换为另一个图像集。U
7、npairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs/1703.10593GAN架构是一种训练图像合成模型的方法它由两个模型组成发生器模型以及判别器模型。生成器将来自潜在空间的一个点作为输入并从域中生成新的可信图像判别器将图像作为输入并预测它是真的来自数据集还是假的生成的。在游戏中训练这两个模型这样生成器可以不断更新以更好地“欺骗判别器判别器也会不断更新以更好地检测生成的图像。CycleGAN是GAN架构的一个分支它可以同时进展两个生成器模型以及两个判别器模型
8、训练。一个生成器从第一个域获取图像作为第二个域的输入以及输出图像另一个生成器从第二个域获取图像作为输入图像并从第一个域生成图像。然后使用判别器模型确定生成的图像的合理性并相应地更新生成器模型。仅此扩展就足以在每个域中生成可信的图像但缺乏以生成输入图像的转换图像。单独的对抗性损耗不能保证习得的函数可以将单个输入xi映射到期望的输出yi。UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs/1703.10593CycleGAN对架构的扩展之处在于使用了循环一致性
9、。第一个生成器输出的图像可以用作第二个生成器的输入图像第二个生成器的输出图像应与原始图像匹配。相反地第二个生成器的输出图像可以作为第一个生成器的输入图像结果应该与第二个生成器的输入图像相匹配。循环一致性是机器翻译的一个概念指从英语翻译成法语的短语同样可以从法语翻译回英语语意不变。反之亦然。我们遵循翻译应该具有“循环一致性的性质即假如我们把一句话从英语翻译成法语然后再把它从法语翻译成英语就应该得到原来的句子。UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs
10、/1703.10593CycleGAN通过增加额外的损耗来测量第二个生成器生成的输出图像与原始图像之间的差异来强化循环一致性反之亦然。这是对生成模型的标准化这引导着新领域中的图像生成经过走向图像转换经过。何为CycleGAN架构模型初识CycleGAN其架构似乎很复杂。让我们花点时间来逐步解析所有涉及的模型及其输入以及输出。来考虑一下我们在完成从夏天到冬天及从冬天到夏天的图像转换中需要关注的问题。我们有两组不成对的图像这意味着它们是在不同时间不同地点的照片冬季以及夏季的图像中没有完全一样的场景。集合1夏季景观图像。集合2冬季景观图像。我们将开发一个包含两个GANs的架构每个GANs都有一个判别
11、器以及一个生成器模型这意味着架构中总共有四个模型。第一个GAN可以根据夏天的图像生成冬天的图像第二个GAN会根据冬天的图像生成夏天的图像。GAN1:把夏季图像集合1转换成冬季图像集合2。GAN2:将冬季图像集合2转换成夏季图像集合1。每个GAN都有一个有条件的生成器模型该模型将合成给定的输入图像。每个GAN都有一个判别器模型来预测生成的图像来自目的图像集合的可能性。GAN的判别器以及生成器模型就像标准GAN模型一样在正常的对抗损耗下训练。我们可以将GAN1的生成器以及判别器模型总结如下生成器模型1:输入选取夏季图像(集合1).输出:生成冬季图像(集合2).判别器模型1:输入:从集合2选取冬季图
12、像从生成器1输出。输出:图像来自集合2的可能性。同样我们可以将GAN2的生成器以及判别器模型总结如下生成器模型2:输入选取冬季图像(集合2).输出生成夏季图像(集合1).判别器模型2:输入:从集合1选取夏季图像从生成器2输出。输出:图像来自集合1的可能性。到目前为止这些模型足以在目的域中生成可信的图像但不能转换输入图像。每个GAN也根据循环一致性损耗进展更新。这是为了强化目的域中由输入图像转换而来的合成图像。循环一致性损耗将输入照片与CycleGAN的生成照片进展比拟并计算两者之间的差异例如使用L1范数或者像素值的绝对差之以及。有两种方法计算循环一致性损耗并用于更新每个训练迭代的生成器模型。第
13、一个GAN(GAN1)将获取夏季景观的图像生成冬季景观的图像该图像作为第二个GAN(GAN2)的输入又将生成夏季景观的图像。循环一致性损耗计算了GAN1的图像输入以及GAN2的图像输出之间的差异并相应地更新了生成模型以减少图像中的差异。这是一个循环一致性损耗的正向循环。同样的经过在生成器2到生成器1的反向循环一致性损耗时会逆转过来还会将冬季原始照片与冬季生成照片进展比拟。正向循环一致性损耗向GAN1中输入夏季图像集合1从GAN1中输出冬季图像从GAN1向GAN2输入冬季图像从GAN2中输出夏季图像将夏季图像集合1与GAN2中的夏季图像作比照反向循环一致性损耗向GAN2中输入冬季图像集合2从GA
14、N2中输出夏季图像从GAN2向GAN1输入夏季图像从GAN1中输出冬季图像将冬季图像集合2与GAN1中的冬季图像作比照CycleGAN的应用CycleGAN有许多有趣的应用。本局部中介绍了五类详细的应用以展示CycleGAN这一技术的应用才能。风格转换风格转换指学习一个领域的艺术风格并将该艺术风格应用到其他领域一般是将绘画的艺术风格迁移到照片上。下列图展示了使用CycleGAN学习莫奈、梵高、塞尚、浮世绘的绘画风格并将其迁移到风景照上的结果。风格转换例如使用CycleGAN将名画的艺术风格迁移到风景照上。物体变形物体变形指将物体从一个类别转换到另一个类别例如将狗转换为猫。在下面的例如中Cycl
15、eGAN实现了斑马以及马的照片间的互相转换。由于马以及斑马除了在皮肤颜色上有所差异外其大小以及身体构造都很相似因此这种转换是有意义的。物体变形例如使用CycleGAN实现马以及斑马之间的互相转换。在下面的例如中CycleGAN将图片中的苹果以及橘子进展了互相的转换。与上一个例如的一样之处在于苹果以及橘子的大小以及构造相似因此这一转换同样合理。物体变形例如使用CycleGAN实现苹果以及橘子之间的互相转换。季节转换季节转换指将在某一季节拍摄的照片转换为另一个季节的照片例如将夏季的照片转换为冬季。在下面的例如中CycleGAN实现了冬天以及夏天拍摄的风景照之间的互相转换。季节转换例如使用Cycle
16、GAN对冬夏风景照进展互相转换。使用绘画生成照片使用绘画生成照片指使用给定的绘画合成像照片一样逼真的图片一般使用著名画家的画作或者著名的风景画进展生成。在下面的例如中CycleGAN将莫奈的一些名画合成为了类似照片的图片。绘画翻译例如使用CycleGAN将莫奈的绘画转换为近似照片的图片。图像增强图像增强指通过某种方式对原图片质量进展提升。下面的例如通过增加景深对近间隔拍摄的花卉照片进展了增强。照片增强例如使用CycleGAN增加绘画照片的景深以增强图片。使用CycleGAN的考前须知CycleGAN的论文给出了一些使用CycleGAN时需要注意的内容。在CycleGAN中生成器的使用基于Jus
17、tinJohnson在2016年度发表的关于风格迁移的论文论文名称为: “PerceptualLossesforReal-TimeStyleTransferandSuper-Resolutions:/arxiv.org/abs/1603.08155。CycleGAN的生成器使用深度卷积GAN进展构建该构造使用了多个残差块。鉴别器使用PatchGAN进展构建PatchGAN的详细内容可参考PhillipIsola等人在2016年度发表的论文: “Image-to-ImageTranslationwithConditionalAdversarialNetworkss:/arxiv.org/abs/
18、1611.07004。鉴别器的作用为判断当前n*n的patch为真或者假。我们在整个图片上卷积地使用这个鉴别器并求所有结果的平均值作为D的最终输出。在鉴别器中使用PatchGAN的目的是对输入图片中大小为70*70的patch进展判断查看是否属于当前领域或者是一个生成的图片。模型对每一个patch的计算结果求均值并作为最终输出。CycleGAN中的对抗损失的构建基于一个最小二乘损失函数该函数的详细内容可参考XudongMao等人在2016年度发表的论文“LeastSquaresGenerativeAdversarialNetworks。本文提出了最小二乘生成对抗网络LSGANs该网络的鉴别器使
19、用了使用最小二乘损失函数。其原理为最小二乘函数对间隔正确一侧较远的样本施加惩罚以使假样本向决策边界挪动。“LeastSquaresGenerativeAdversarialNetworks2016另外CycleGAN增加了一个大小为50的生成图片缓冲器而不是直接将生成图片输出该缓冲器用于对鉴别器模型进展更新详细可参考AshishShrivastava在2016年度发表的论文: “LearningfromSimulatedandUnsupervisedImagesthroughAdversarialTraining(s:/arxiv.org/abs/1612.07828)。本文介绍了一个提升对抗
20、训练稳定性的方法该方法通过使用经过加工的图片训练鉴别器而不再使用原始图片。“LearningfromSimulatedandUnsupervisedImagesthroughAdversarialTraining2016CycleGAN的训练使用了Adam随机梯度下降首先使用较小的学习速率进展100个epoch的学习之后再进展100个epoch的学习并使学习率逐渐衰减在每一个图片处理完成后对模型进展更新。CycleGAN的更多细节可参考论文附录中关于每个数据集的讲明该讲明对模型的架构进展了详细解释。拓展浏览本局部提供了一些相关文章可作为参考。论文UnpairedImage-to-ImageTr
21、anslationusingCycle-ConsistentAdversarialNetworks,2017.s:/arxiv.org/abs/1703.10593PerceptualLossesforReal-TimeStyleTransferandSuper-Resolution,2016.s:/arxiv.org/abs/1603.08155Image-to-ImageTranslationwithConditionalAdversarialNetworks,2016.s:/arxiv.org/abs/1611.07004Leastsquaresgenerativeadversarial
22、networks,2016.s:/arxiv.org/abs/1611.04076LearningfromSimulatedandUnsupervisedImagesthroughAdversarialTraining,2016.s:/arxiv.org/abs/1612.07828文章UnderstandingandImplementingCycleGANinTensorFlows:/hardikbansal.github.io/CycleGANBlog/CycleGANProject(official),GitHub (s:/github/junyanz/CycleGAN/)CycleGA
23、NProjectPage(official)s:/junyanz.github.io/CycleGAN/原文链接s:/machinelearningmastery/what-is-cyclegan/?fbclidIwAR0DBMSN4nTQTdH8F4F3jSEEw9yxNpKKUZUEVBmcN2x8HBOT0Cdd9JlyGPs (*本文为AI科技大本营原创文章转载请联络微信1092722531)福利时刻入群介入每周抽奖扫码添加小助手回复大会参加福利群介入抽奖送礼AIProCon2019邀请到了亚马逊首席科学家李沐在大会的前一天9.5亲授深度学习实训营通过动手实操帮助开发者全面解析深度学习的根底知识以及开发技巧。还有9大技术论坛、60主题共享百余家企业、千余名开发者共同相约2019AIProCon间隔5折优惠票完毕还有4天推荐浏览从不温不火到炙手可热你点的每个“在看我都认真当成了喜欢