给AI投毒：神经网络对抗攻击

Aline744

现代社会中，图像识别已经是非常重要的计算机算法了，广泛运用于医 疗、安 保、自动驾驶等多个领域。然而该算法一定是安全的吗？很遗憾绝大多数的图像识别算法都是有漏洞的。尤其对于深度学习类的图像识别算法，可以使用特殊的手段来进行干扰，对于图像x与一个图像识别网络A(x)，我们可以训练另一个神经网络B，该网络的输入是图片（或无输入），输出是精心设计的色块或噪声信号，神经网络的误差函数定义为：
- (y - A(B + x))^2
即将神经网络B的输出叠加在原图像上，令这个叠加后的图像尽可能的降低神经网络A的识别正确率。
我们使用手写数字识别网络来验证这个想法：第一组实验里，我们在图像中加入三行条状遮挡物，结果神经网络的识别准确率由0.9下降到0.6；第二组实验里，我们在整张图片中加入微弱的噪声，结果神经网络的识别准确率由0.9下降到0.44。从图片中可以看出，这种遮挡对于人眼是无效的，但是却能强烈的干扰图像识别算法。这提示我们在训练图像识别网络时，要在网络中人为引入噪声增加网络的耐受性；同时切记不可将重要的网络泄露出去，给别有用心者以机会。

落花萧然

训练过的，有规律的，很快就适应了