DeepFake噩梦来了!武大阿里团队提出FakeTagger,重新识别率达95%
共 3798字,需浏览 8分钟
· 2021-08-10
![](https://filescdn.proginn.com/2e830ea60a36e12fde0142c3fdcdfb39/c038cf6e1143d5cfa25ae7c6a596a51c.webp)
【前言】DeepFake千千万,究竟怎么办?GAN的滥用已经让现在的世界不再「眼见为实」。于是,研究人员提出了FakeTagger系统,将视觉上无法辨别的ID信息嵌入到图像中,准确率高达95%。
拍照、修图、发朋友圈、等大家点赞评论。
是不是已经一气呵成了?
大家都喜欢在社交平台上发自己照片,还希望大家能给自己精修的图点个赞。
然而,随着GAN及其变体在图像合成中的快速发展。
上传到各大平台的照片和视频都有可能会被DeepFake拿去进行编辑。
越来越多的软件可以让毫无专业知识的用户生成DeepFake图像,例如FaceApp等。
现在,甚至连直播都可能是「Fake」的。
我们已经生活在一个「眼见未必为实」的世界里了。
过去两年来,研究人员积极提出各种DeepFake检测技术。这些研究主要是在真实图像和合成图像之间,捕捉细微差异作为检测线索。
在Facebook主办的最新DeepFake检测竞赛 (DFDC) 中,最佳检测结果准确率不到70%。
为了更好检测出DeepFake,来自武汉大学的汪润等人合作开发了一个系统:「FakeTagger」。
值得注意的是,FakeTagger是首个通过图像标记为DeepFake出处和跟踪进行的工作。
论文地址:https://arxiv.org/abs/2009.09869
文中,作者采用了一个基于DNN的编码器和解码器,并对信息嵌入和恢复进行联合训练。
同时,受到香农容量定理的启发,作者加入了冗余信息进而提高了信号通信的鲁棒性。
结果表明,对于常见的Deepfake方法,FakeTagger的重新识别率高达近95%。
FakeTagger
FakeTagger
现有的研究大多都集中在已知GAN或简单的数据集上,如FaceForensics++、DeepFake-TIMIT。
通常用于区分真假的伪影由于现实世界中的各种退化问题,很可能会被移除或损坏。包括简单的图像转换和具有扰动的对抗性噪声攻击。
这就成为开发强大的DeepFake检测器的最大障碍。简单点说,现有的DeepFake检测方法面临两个重大挑战:
对未知合成技术的泛化能力差; 图像质量下降后的鲁棒性差。
![](https://filescdn.proginn.com/77d4411566f0a5a19c3f264b7b492ad2/7833f2f6b735df42548b686c583f181e.webp)
图像标签
图像标签
用于DeepFake的图像标签应该对基于GAN的转换具有鲁棒性; 被标记的信息肉眼无法察觉,不会引入明显的图像质量下降。
![](https://filescdn.proginn.com/e959375fef7870313f16d20057eff018/027b8d7f9654e2b1cf851e5070f95d4b.webp)
信息发生器𝑋𝑔𝑒𝑛从通道编码中生成二进制信息。生成的信息作为一种资产,用于身份验证。
编码器𝐹𝑒𝑛𝑐将信息(通常是UID)嵌入到面部图像中,并确保肉眼无法看到标记的信息。换句话说,编码后的图像需要在感知上与输入图像相似。
GAN模拟器𝐺𝑠𝑖𝑚用于执行各种基于GAN的转换。
信息解码器𝐹𝑑𝑒𝑐在基于GAN的剧烈变换后,从编码的面部图像中恢复嵌入的信息。恢复的UID被进一步用于身份验证目的。
通道解码器𝑋𝑑𝑒𝑐接受来自𝐹𝑑𝑐的解码信息,产生最终信息𝑋。
![](https://filescdn.proginn.com/1065d48ee7630febc9a4d623bd711e81/d75277779380461703fc5cedac92d04c.webp)
![](https://filescdn.proginn.com/2cd47793227db7237a594c4068436abb/11fe09cc2a3654db2dfee18683e881e7.webp)
准确性的评估
准确性的评估
![](https://filescdn.proginn.com/78820b91aecc45fbc8d7eba61e9a5b71/5466db12268a46b61621370a56e82dc0.webp)
![](https://filescdn.proginn.com/9621ca91a1e6f8f86f2ba748035cf405/bd24a63f912829ac28d03400a59ceee9.webp)
![](https://filescdn.proginn.com/af357a44f84c3194d885369d351527a5/bcf6ab6601e049340cb37e7732008b54.webp)
鲁棒性的评估
作者采用了四种在制作DeepFake视频中广泛出现的扰动,即压缩、调整大小、模糊和高斯噪声。 输入图像大小为256×256,被操纵的面部属性为「胡子」。
鲁棒性的评估
![](https://filescdn.proginn.com/0491e989b1199452ffbc5e42214c2b7e/112961b0e765e9ef2cf3bf2d4544ae7f.webp)
参考资料:https://arxiv.org/abs/2009.09869
文章素材来源于网络,如有侵权,联系删除!
— 推荐阅读 — NLP ( 自然语言处理 )
CV(计算机视觉)
推荐
最新大厂面试题
AI开源项目论文