作者:Po-Hsuan Cameron Chen、Maggie Demkin 机器之心编译 编辑:陈萍本文中,来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法 StylEx,该方法能以不同方式修改图像属性来更改其分类器输出。
神经网络可以非常出色地执行各种任务,但它们是如何做出决定的呢?例如,在图像分类任务中,模型是如何确定一张图像属于这一类而不是属于另一类,这通常是一个谜题。解释神经网络如何做决策的过程,可能会在某些领域产生重大的社会影响,例如医学图像分析和自动驾驶。以前对分类器进行视觉解释的方法(例如注意力图 Grad-CAM)),会强调图像中的哪些区域对分类有影响,但这些方法并没有解释这些区域中的哪些属性决定分类结果:例如是颜色、形状,还是其他的属性决定模型进行这样的分类。另一类方法是通过在一类和另一类之间平滑转换图像来提供解释(例如 GANalyze)。然而,这些方法倾向于一次性改变所有属性(例如颜色、形状),因此,很难隔离单个属性带来的影响。去年,来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法,相关论文被 ICCV 2021 接收。他们提出了 StylEx ,可以自动发现和可视化影响分类器的解耦属性(disentangled attributes)。StylEx 允许通过单独操作这些属性来探索单个属性的影响(也就是说,更改一个属性不会影响其他属性)。StylEx 适用于广泛的领域,包括动物、树叶、面部和视网膜图像。该研究结果表明,StylEx 找到的属性与语义属性非常吻合,可以生成有意义的特定于图像的解释,并且在用户研究中可以被人们所解释。![](https://filescdn.proginn.com/d3b67f27f0d9d9ecec2ead69c3543d81/d3101133413691d8107339015188e9af.webp)
![](https://filescdn.proginn.com/d5f3dd9ebbdb15c76a9e93efa0acb114/0f1174aa5b91b0285d435f87572a5c4e.webp)
解释猫和狗分类器:StylEx 提供了可以解释分类的 top-K 个解耦属性。移动每个旋钮可以操作图像中的相应属性,同时保持图形的其他属性不变。例如,要了解给定图像上的猫与狗分类器,StylEx 可以自动检测解耦属性,并可视化操作每个属性如何影响分类器概率。然后用户可以查看这些属性并对它们所代表的内容进行语义解释。例如,在上图中,可以得出狗比猫更容易张开嘴(上图 GIF 中的属性 #4)、猫的瞳孔更像狭缝(属性 # 5),猫的耳朵不倾向于折叠(属性 #1),等等。给定一个分类器和一个输入图像,该研究希望找到并可视化影响其分类的各个属性。研究人员采用了可以生成高质量图像的 StyleGAN2 架构,整个过程包括两个阶段:论文《StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation》中的研究表明,StyleGAN2 包含一个名为「StyleSpace」的解耦潜在空间,其包含训练图像的单个语义属性。该研究训练了一个类似于 StyleGAN 的生成器来满足分类器需求,从而可以使 StyleSpace 适应分类器特定的属性。StylEx 通过使用两个附加组件训练 StyleGAN 生成器来实现。第一个是编码器,它与具有 reconstruction-loss 的 GAN 一起训练,并强制生成的输出图像在视觉上与输入相似,从而允许生成器应用于任何给定的输入图像。然而,仅仅只有图像的视觉相似性是不够的,因为它可能不一定捕获对特定分类器(例如医学病理学)重要的细微视觉细节。为了确保这一点,该研究在 StyleGAN 训练中添加了一个 classification-loss,它强制生成图像的分类器概率与输入图像的分类器概率相同。这保证了细微视觉细节(例如医学病理学)包含在生成的图像中,这对分类器来说是很重要的。![](https://filescdn.proginn.com/8e48d28d0136e910b1b6d8a229d45ad5/10e5e8bf8b28a31ed7bbfd7786b40be1.webp)
训练 StyleEx:联合训练生成器和编码器。在生成图像和原始图像之间应用 reconstruction-loss,以保持视觉相似性。在生成图像的分类器输出和原始图像的分类器输出之间应用 classification-loss,以确保生成器能够捕获对分类很重要的细微视觉细节。训练完成之后,研究者在经过训练的分类器的 StyleSpace 中搜索显著影响分类器的属性,他们对每个 StyleSpace 进行操作并测量其对分类概率的影响。对于给定的图像,研究者寻找对图像分类影响最大的属性。这一过程可以找到 top-K 个特定图像属性。对每个类的图像重复这个过程,可以进一步发现特定类的 top-K 属性,这个端到端的系统被命名为 StylEx。![](https://filescdn.proginn.com/8e915d883820d3d777f741e935ca2749/fe8ab29c96030d41c44142041eca1bda.webp)
StylEx 适用于各种领域和分类器(二元和多类),下面是感知性别分类器展示的 top-4 属性。对于性别分类器,以下是每个分类器检测到的前四个属性。对于每个属性,该研究在源图像和属性操作图像之间进行变换。属性(例如胡子、眉毛等)对分类器概率的影响程度显示在每个图像的左上角。![](https://filescdn.proginn.com/fe0b7d2bd424b3711300c375d0362feb/84dbc9d223daa720a6c377d2121e1949.webp)
![](https://filescdn.proginn.com/765c5a89a60215b0d708d558b68e6fcf/1b23cb58b50d4e63a7705ee2e0011399.webp)
StylEx 揭示了给定分类器可以从数据中学会利用图像不同属性,这些属性可能不一定代表现实中类别标签(例如年轻或年长)之间的实际物理差异。特别是,这些检测到的属性可能会揭示分类器训练或数据集中的偏差。StylEx 可以进一步用于提高神经网络的公平性,例如,通过增加训练数据集的示例来补偿 StylEx 方法揭示的偏差,有针对性的进行补偿。对于分类严重依赖精细细节的任务,将 classifier loss 添加到 StyleGAN 训练中至关重要。举例来说,在没有 classifier loss 的情况下,在视网膜图像上训练的 GAN 不一定会产生与特定疾病对应的精细病理细节。而添加 classification loss 使得 GAN 生成这些微妙的病理,作为分类器的解释。下面以视网膜图像分类器(DME 疾病)和不健康 / 健康树叶分类器为例。StylEx 能够发现与疾病指标一致的属性,例如视网膜的「硬渗出物」。![](https://filescdn.proginn.com/a732ef612401c76216c8c48cb347ef5a/408835346c8a8c9c77050722fd5beb6c.webp)
![](https://filescdn.proginn.com/770d257d4982a7480e104f450aca98a6/b1d0e7f3b91d3bbd56c318afceced2b8.webp)
![](https://filescdn.proginn.com/5146936ac9504e18420ab05895bf51a5/65aa260e92a867ae0a7b4d25c0c9ef9d.webp)
特定于鸟的分类器(200 个类),事实上 StylEx 检测到与 CUB(鸟类数据集) 分类中的属性相对应的属性原文链接:https://ai.googleblog.com/
猜您喜欢:
一顿午饭外卖,成为CV视觉的前沿弄潮儿!
超110篇!CVPR 2021最全GAN论文汇总梳理!
超100篇!CVPR 2020最全GAN论文梳理汇总!
拆解组新的GAN:解耦表征MixNMatch
StarGAN第2版:多域多样性图像生成
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》
《零样本图像分类综述: 十年进展》
《基于深度神经网络的少样本学习综述》