【情报百科】如何识别真假脸？人眼PK人工智能小锦囊

三叶草

还记得福韵君曾经给大家讲过通过瞳孔暴露住处、剪刀手暴露指纹的案例吗？（警告！你的照片正在偷偷暴露你的秘密……）照片中可以隐藏大量的细节，甚至个人敏感信息。但事实上，照片中的信息也并非都是真实的。

​ ​

图源：摄图网可商用图片

比如以下两张图中的小哥，猜猜是不是真人？别着急说出答案，可以先看完本文的Tips再作答~

随着科学技术的发展，福韵君感觉现在的各种美颜瘦脸、AI换脸技术是越来越牛掰了。比如下图这种，根本让人看不出是真是假——

Radford 等人的“无监督表示学习与深度卷积生成对抗网络”（2014 年），也称为 DCGAN。

不好意思放错了，这是2014 年由机器学习研究员 IanGoodfellow 引入的生成对抗网络（generative adversarial networks 或称为GANs），因为属于早期的GAN 图像，所以还是能看出来有一些不和谐，很容易被人类识别。 “Generative”是因为它们输出图像之类的东西，而不是对输入的预测（例如“是否热狗”）；“adversarialnetworks”（ “对抗性网络”）是指它们使用两个神经网络在“猫捉老鼠的游戏”中相互竞争，就像收银员和造假者一样：一个试图欺骗对方认为它可以生成真实的例子，另一个试图区分真假。 但后来的GAN图像确实真的越来越能以假乱真了。

GAN首发一年后“AStyle-Based Generator Architecture for GANs”生成的人脸

Karras 等人的“ProgressiveGrowing of GANs for Improvement Quality, Stability, and Variation”（2017 年），也称为 PGAN 或 ProGAN。 AMAZING！
是不是很难看出真假？
那究竟如何识别这些AI 生成的“假”图像呢？别着急，福韵君教你找找GAN图像主动露出的“马脚”。

从“头”看起——头发的端倪

AI生成的图像，一般可以较为精细地处理人体的其他器官和部位，但对于头发的处理漏洞往往就会多一些。毕竟人的发型有很多的可变性，也有很多的细节，这使它成为 GAN 最难捕捉的细节之一。 你会看到“假”照片中的人物顶着像油漆刷出来的不自然的假发，僵硬、缺少弯曲弧度。

直发看起来像油漆

可以说看头发是识别 GAN 生成的“假”图像最快的方法之一。看这些束成一团的头发、在肩膀周围产生随机的头发，以及在前额上散落浓密的头发。

或者类似下图这样像P图失败的“拼接”头发。

“超现实”的背景和绘画渲染

GAN 中的人脸看起来可信的原因之一是所有训练数据都已居中。这意味着 GAN 建模时的可变性较小，例如，在眼睛和耳朵的放置和渲染方面。另一方面，由于实际背景可以包含的内容太多，GAN往往只能复制一般的背景纹理，而不能很好处理“真实”的背景场景。所以还会出现以下这样的诡异情况，比如照片中出现奇怪的“人物”，比如背景看起来像撕碎的一样。

如果背景中有文字，就更容易出现bug了——在人脸数据中训练出来的GAN 很难在具有大量结构的背景中捕捉其他样本比较罕见的事物。此外，GAN 会同时显示训练数据的原始版本和镜像版本，这意味着它们在建模编写方面存在通常只有一个方向的问题。

文字无法辨认

绘画渲染（Painterly rendering）：这幅图像具有不寻常的水彩美感。在之前的工作中，他们使用了超分辨率网络对训练图像进行预处理。如果在这里还是使用了相同的系统，在“简单粗暴”的复制后，这个地方就会变成颜色鲜艳的衬衫的变体。  

不对称的脸

注意我们此处提到的不对称并不是指的人脸本身的特征，而是GAN图像中惯常发生的“bug”。 由于GAN 可能很难管理图像中的长距离依赖关系。虽然耳环等配对配件通常在数据集中匹配，但它们在生成的图像中并不匹配；人的眼睛通常应该指向同一个方向，并且是相同的颜色，但是在生成的图像中却有很多交叉眼和异色。另外还会出现高度或大小非常不匹配的不对称的耳朵。

中间是数据集中的“平均人脸”，基于来自世界各地的 Flickr 用户的 7 万张照片，右耳（图像左侧）似乎有耳环，但左耳没有；右图左右耳明显不一样大。

失踪的耳环——如下面这三张图片，耳环“缺失”几乎出现在图像中完全相同的位置。这可能是神经网络试图尝试生成耳环，但却失败了。因为它们都来自同一个“源”图像，有一种可能是，当与显示女性面孔的“中间风格”混合时，耳环出现在了这个位置。但也可能不是，因为其他的示例在完全不同的位置也显示了跨多个图像的类似故障。

除了左右耳的不同耳环以外，还要注意不对称的眼镜（通常框架会左、右侧“自成风格”，有时候框架会弯曲或变成锯齿状）、面部毛发的不对称以及左右两侧不同形式的领子或织物等。

奇怪的牙齿

GAN 可以组装一般场景，但目前在处理牙齿等半规则重复细节方面存在困难，即牙齿容易被渲染成各种奇怪的或不对称的形状，或产生错位，以不寻常的方式拉伸或收缩每颗牙齿。

如上图，一颗牙齿中间有一个空隙。在某些情况下，甚至会“变”出三颗门牙，如下面的最后一张照片所示。

这个问题也同样出现在了其他领域，比如使用砖块等图像进行纹理合成的时候。

非刻板印象的性别呈现

看下图就并不是一张所谓的“女装大佬”照片，而是由GAN生成的“假”照片。

这个 GAN 是在CelebA 的一个子集上训练的，其中包含 10k 名人脸的 200k 图像。

在上图的数据集中，我们没有看到一个留胡须、戴耳环和化妆的例子；但GAN 却经常混合不同性别的属性。因为 GAN 并不总是能很好地学习和理解人类社会范畴中的一些分类和属性（比如此处的“男性与女性”）。 需要说明的是，和不对称一样，非刻板印象的性别表现本质上并不是图像不“真实”的指标。与凌乱的头发不同，它不是单个图像中存在的视觉伪影，而是大量图像中匹配统计数据的差异。  

半正规噪点和荧光渗透

半正规噪点（Semi-regular noise）：一些原本为单色的区域可能会出现带有水平或垂直条带的半正则噪点。在上面的例子中，这可能是网络试图模仿布料的质地。较旧的 GAN 具有更突出的噪声模式，通常被描述为棋盘伪影（checkerboard artifacts）。 荧光渗透（Fluorescent bleed）：有时候一些荧光色会从背景渗入头发或脸上。一些较浅的纯色区域可能出现多种色调，如衣领、颈部和眼白等。
如下图：

“水斑”（Water-splotches）：StyleGAN 算法的显着特征之一是有时会产生闪亮的斑点，看起来像旧照片上的水渍。它们可能会出现在图像的任何地方，但通常是在头发和背景间的界面处。如下图。https://kcimc.medium.com/how-to-recognize-fake-ai-generated-images-4d1f6f9a2842https://www.whichfaceisreal.com/learn.html 看了那么多假图像，我们再来看一组真实的人脸照片，看这些清晰的背景文字、匹配的
耳环、同样大小的牙齿、细致的发型。

话题再回到开始的那个问题，那两位小哥到底是真人脸还是AI生产的呢？公布答案———

你猜对了吗？ 还想再锻炼一下自己辨别“真假脸”的火眼金睛？可以试试“哪张脸是真的？”这个小游戏哦。游戏地址：https://www.whichfaceisreal.com/index.php
本篇文章为福韵原创内容，未经授权禁止转载
封面来源：摄图网可商用图片
END