CanSecWest 2019 | 如何用AI“欺骗”AI？

图3展示了分别使用FGSM、BIM和TAP方法针对Inception V3网络生成的对抗样本。为了直观地验证对抗样本的影响，我们对黑盒模型所提取的特征进行了可视化。细节来说，我们使用Inception V3来生成对抗样本，然后使用Inception V4对生成的对抗样本进行特征提取，从倒数第二层提取了1536维特征。接着，我们使用t-SNE对1536维特征进行降维，得到一个三维的特征表示，可视化效果如图4所示。由图4可知，我们的方法生成的对抗样本与原始图片之间的距离大于使用FGSM和BIM方法生成的对抗样本与原始图片之间的距离，证明用我们的方法在Inception V3上生成的对抗干扰将以更高的概率迁移到Inception V4的特征空间上。

 (a)FGSM (b) BIM (d) TAP

图3.对抗样本生成示例

 图4. t-SNE可视化特征距离

我们关于对抗样本生成的相关成果已经发表于ECCV 2018 [4]，在此次CanSecWest会议中，我们也对这项工作进行了简单的介绍。

3.如何使用对抗样本来欺骗AI?

当AI被“蒙蔽”，坏人能够做哪些事?我们使用对抗样本对人脸识别、目标检测、交通指示标识别、色情识别等多个应用进行了实验。

3.1人脸识别

在人脸识别攻击的实验中，我们尝试将Trump的图片修改为Merkel，从男性更改为女性。图5展示了我们对人脸识别网络的攻击过程，具体流程如下：

Step 1. 收集N张目标人物(Merkel)的人脸图片，使用人脸检测网络对N张图片进行人脸检测和裁剪，然后送入人脸识别网络进行特征提取，将得到N个特征表示{ f 1，f2，。。。，f N}

Step 2. 将攻击图片也进行人脸提取、裁剪和特征提取，将得到人脸特征f x;

Step 3. 计算loss来度量特征相似度;

Step 4. 通过梯度上升多次迭代最大化loss，生成对抗样本;

Step 5. 将生成的人脸对抗样本叠加到原始图片中的人脸区域。

 图5. 人脸识别攻击流程

我们使用多个人脸识别API对生成的人脸对抗样本进行了测试，图6和图7分别展示了使用AWS celebrity recognition [5] 和Microsoft Azure [6] 的识别结果，它们均将修改后的Trump照片识别成了Merkel。

 原始图片

 对抗样本

图6. AWS celebrity recognition识别结果

 原始图片

 对抗样本

图7. Microsoft Azure识别结果

3.2 目标检测

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!