学界 | Ian Goodfellow最新论文：是猫还是狗？不光神经网络识别不了，你也能被忽悠

根据胡子、鼻子较短判断，左边的似乎是猫。但是再看看右边，这明显是只狼狗吧（诡异的戴着蝴蝶结的狼狗orz）。但是这明明是一张图啊？怎么回事？

都是深度学习搞的鬼。

这是Ian Goodfellow大神2月22号最新论文里的成果。对抗性干扰，既能骗过神经网络，也能骗过人眼了。

先回忆一下我们是怎么忽悠神经网络的。

不久前，文摘菌发布过一篇关于如何利用一个小贴纸，让各大著名图像识别算法纷纷破功的文章（自带迷幻剂技能的小贴纸：忽悠神经网络，让它将一切都当作烤面包机!）。

加上这个五彩缤纷的小贴纸后，不论是什么图片，都会被神经网络识别成“烤面包机”。

原理其实很简单，我们在对图像处理时，为了简化图像本身的数据量，提取了图像的关键特征进行识别。当这个小贴纸加入后，它所携带的像素数据严重影响到了原来图像的关键特征，从而扰乱已经训练好的神经网络，导致识别结果错误。

在Ian Goodfellow的最新论文里，这种缺陷除了扰乱图像识别算法，还可以加以利用，生成一些人眼都无法辨识的图片。

论文地址：

https://arxiv.org/abs/1802.08195

在大数据文摘公众号后台对话框内回复“忽悠”即可下载这篇论文~

以下是论文部分内容：

机器学习模型很容易受到对抗特征的攻击，稍微将待识别的图像进行改动，识别结果就大相径庭。然而，人类处理这种问题十分容易而且准确率极高。那么人脑是如何识别图像的呢？我们利用最新的技术，将对抗特性从计算机视觉现有的模型及参数转移到还未开发的模型中去，通过修改这种模型去接近人类视觉系统的处理原理。研究结果表明，通过人为转移计算机视觉模型中的对抗特性生成的图片，在有限时间里，会影响人类的识别结果。

实验采用的数据集来自ImageNet，研究人员筛选了三组进行分析：

研究者使用了K个CNN网络，每个模型包括以下架构：

生成对抗图像的目的：给图像添加干扰，使模型将图像A识别成图像B，同理，对图像B也做相同处理，针对每个图像构造不同的干扰，干扰的大小取决于最大干扰值。

原理：

式中，Xn是原始图像数据，ytarget是目标分类结果，Xadv是添加扰动后的图像，α是梯度下降的步长，eps是扰动值。对X执行迭代梯度下降获得Xadv。

对于每组图像分别用以下四种方式显示：

图中，使用了不同模型来生成对抗图像。从左往右，随着训练模型的数目不断增加，图像中的猫看上去更像狗。eps代表图像中添加的对抗扰动值，即便当eps=8的时候，图像中的猫看起来也更像一只狗。

常见生成具有对抗特性图片的方式：

用这种方式生成的对抗图像，由于人们明白其产生原理，因此需要加入更大的干扰才会对人类的辨识产生影响。

常见的生成对抗图像的方式

结论

1、在有限时间内，生成的对抗图像使人难以辨认

2、这种生成对抗图像的方式可以用在音频、视频，会给人类社会带来一定的风险

3、生成的对抗图像可以用在某些场合，作为一种醒目的提示

4、但是这种图像，对于人来说，可能刚开始看上去难以辨认，经过一定时间的反复观察和思考，人眼还是可以正确识别出图像中的物体（比如是猫还是狗）。从而引发思考，机器学习中是否可以加入这种反馈和动态递归以提高分类准确率？

原文发布时间为：2018-02-24

本文作者：文摘菌

本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“大数据文摘”微信公众号