新工具突出显示在重建场景时遗漏了哪些生成模型

任何在社交媒体上花费时间的人都可能已经注意到，GAN(或对抗性生成性网络)已经非常擅长绘制面孔。他们可以预测您年老时的模样以及名人的模样。但是，请GAN绘制更大场景的场景，事情就会变得很奇怪。

MIT-IBMWatsonAILab的一个新演示揭示了在教堂和纪念碑现场受过训练的模型在绘制自己的版本(例如巴黎的万神殿或罗马的西班牙广场)时决定放弃的内容。上周在国际计算机视觉会议上提出了更大的研究报告，《看GAN不能产生什么》。

麻省理工学院电气工程与计算机科学系的研究生戴维·鲍(DavidBau)说：“研究人员通常专注于表征和改进机器学习系统的功能-它关注的是什么，以及特定的输入如何导致特定的输出。”计算机科学与人工科学实验室(CSAIL)。“通过这项工作，我们希望研究人员将更多地关注表征这些系统忽略的数据。”

在GAN中，一对神经网络一起工作以创建在给出示例后图案化的超真实感图像。鲍尔开始对GAN感兴趣，因为它可以窥视黑匣子神经网络以了解其决策背后的原因。与他的顾问MIT教授AntonioTorralba和IBM研究员HendrikStrobelt一起开发的较早的工具，使识别负责将图像组织成现实世界类别(如门，树和云)的人工神经元簇成为可能。GANPaint是一个相关工具，它使业余艺术家可以从自己的照片中添加和删除这些功能。

一天，Bau在帮助艺术家使用GANPaint时遇到了一个问题。他说：“像往常一样，我们一直在追逐数字，试图优化数字重建损失来重建照片。”“但是我的顾问一直鼓励我们超越数字，仔细检查真实的图像。当我们看时，这种现象马上就跳了出来：人们被选择性地辍学了。”

正如GAN和其他神经网络在数据堆中找到模式一样，它们也忽略了模式。Bau和他的同事在室内和室外场景上训练了不同类型的GAN。但是，无论在何处拍摄照片，GAN始终忽略重要的细节，例如人，汽车，标志，喷泉和家具，即使这些对象在图像中突出显示时也是如此。在GAN重建中，一对新婚夫妇在教堂的台阶上接吻时被鬼影了，在大教堂的门上留下了怪异的婚纱纹理。

“当GAN遇到无法生成的对象时，他们似乎在想象没有它们的场景会是什么样子，”Strobelt说。“有时候人们会变成灌木丛，或者完全消失在他们身后的建筑物中。”

研究人员怀疑，机器懒惰可能是罪魁祸首。尽管GAN训练有素，可以创建令人信服的图像，但它可能会发现，将注意力集中在建筑物和景观上并跳过难以代表的人和汽车更容易。长期以来，研究人员都知道GAN倾向于忽略一些具有统计意义的细节。但这可能是第一个表明最新的GAN可以系统地忽略图像中所有对象类别的研究。

Bau说，从其表示中丢掉一些物体的AI可能会实现其数字目标，同时会丢失对人类最重要的细节。随着工程师转向GAN生成合成图像来训练自动驾驶汽车等自动系统，存在危险，如果没有人意识到，可能会掉落人员，标志和其他关键信息。Bau说，这表明了为什么不应该仅通过准确性来衡量模型性能。“我们需要了解网络正在做什么和没有做什么，以确保它们正在做出我们希望他们做出的选择。

标签：

免责声明：免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！