ICML 2021 (Long Oral) | 深入研究不平衡回归问题
AI算法与图像处理
共 13371字,需浏览 27分钟
·
2021-07-14 19:36
点击下方“AI算法与图像处理”,一起进步!
重磅干货,第一时间送达
导读
本文介绍了一篇被ICML2021接收的工作:Long oral presentation:Delving into Deep Imbalanced Regression。该工作推广了传统不平衡分类问题的范式,将数据不平衡问题从离散值域推广到连续域。
![](https://filescdn.proginn.com/5fbbb9fa7a015a7950983082d809aa05/050f85df142573628c7ca9ab7c5dc51f.webp)
我们提出了一个新的任务,称为深度不平衡回归(Deep Imbalanced Regression,简写为DIR)。DIR任务定义为从具有连续目标的不平衡数据中学习,并能泛化到整个目标范围; 我们同时提出了针对不平衡回归的新的方法,标签分布平滑(label distribution smoothing, LDS)和特征分布平滑(feature distribution smoothing, FDS),以解决具有连续目标的不平衡数据的学习问题; 最后我们建立了五个新的DIR数据集,涵盖了computer vision,NLP,和healthcare上的不平衡回归任务,来方便未来在不平衡数据上的研究。
1. 研究背景与动机
![](https://filescdn.proginn.com/408cb4d88bf450cc91545af6076574c0/b38ae9b1c33c4cbe409a724b8dd98676.webp)
![](https://filescdn.proginn.com/5f4cb0ea11ec07f677a2271aa88bc8cd/7560260669fce1d29ea1d8e1631c7481.webp)
![](https://filescdn.proginn.com/7c20e7790369f1f873309d1b5fd5320e/1759b850539a26310d1d006ef25296a0.webp)
![](https://filescdn.proginn.com/96f9a86465520fc296a2c26f386fb264/a55a311dd683e580369373a113b7c29c.webp)
2. 不平衡回归的难点与挑战
![](https://filescdn.proginn.com/a5a1972a5a7d6a512e251a183ef18cff/5fb85731b9f72bc1ea33631225f1ef00.webp)
![](https://filescdn.proginn.com/f6aa5bef67b332af94d0e2fbc4d68f08/703f49f27f748cfb011b3bfd32e25410.webp)
3. 标签分布平滑(LDS)
![](https://filescdn.proginn.com/b546fca30dcaf5a4d86058cd6cf2582f/a53703c68603a16e31947b25716c4993.webp)
![](https://filescdn.proginn.com/ae3587c5b32c6d34309c48a0aca3c536/ce099321790dff414a94227763da3003.webp)
![](https://filescdn.proginn.com/71ed8d75d4eddabb394ebf4d1dd6304c/445f7fe39e320ca36ef64e6652b3e11a.webp)
4. 特征分布平滑(FDS)
![](https://filescdn.proginn.com/4c147f11e346a9fc773df4fa2ec7747e/81d67a7089490ec8de6c2386586174de.webp)
![](https://filescdn.proginn.com/a88c4543cb33eabf5db2f7dacfc3e8d5/5b15fa24230aeb9262a83517cc0d52c7.webp)
![](https://filescdn.proginn.com/82d38e7f5e2b92146ac223a0254d134d/1bb54290ffac226990a6f52e015c2c95.webp)
5. 基准DIR数据集及实验分析
![](https://filescdn.proginn.com/00825d5663d160a4cf4e951a588e5253/60ab9c2eff26e9fd8c2e30314a304bb7.webp)
IMDB-WIKI-DIR(vision, age): 从包含人面部的图像来推断估计相应的年龄。基于IMDB-WIKI[9]数据集,我们手动构建了验证集和测试集,使其保持了分布的平衡。 AgeDB-DIR(vision, age): 同样是根据单个输入图像进行年龄估算,基于AgeDB[11]数据集。注意到与IMDB-WIKI-DIR相比,即使两个数据集是完全相同的task,他们的标签分布的不平衡也不相同。 NYUD2-DIR(vision, depth): 除了single value的prediction, 我们还基于NYU2数据集[12]构建了进行depth estimation的DIR任务,是一个dense value prediction的任务。我们构建了NYUD2-DIR数据集来进行不平衡回归的评估。 STS-B-DIR(NLP, text similarity score): 我们还在NLP领域中构建了一个叫STS-B-DIR的DIR benchmark,基于STS-B数据集[13]。他的任务是推断两个输入句子之间的语义文本的相似度得分。这个相似度分数是连续的,范围是0到5,并且分布不平衡。 SHHS-DIR(Healthcare, health condition score): 最后,我们在healthcare领域也构建了一个DIR的benchmark,叫做 SHHS-DIR,基于SHHS数据集[14]。这项任务是推断一个人的总体健康评分,该评分在0到100之间连续分布,评分越高则健康状况越好。网络的输入是每个患者在一整晚睡眠过程中的高维PSG信号,包括ECG心电信号,EEG脑电信号,以及他的呼吸信号。很明显可以看到,总体健康分数的分布也是极度不平衡的,并存在一定的target value是没有数据的。
![](https://filescdn.proginn.com/8974c9e723be6275fc5371789dc6c7c2/8458ec8ae818c58c9f0390f6651cd2b2.webp)
![](https://filescdn.proginn.com/bca6f77b821d10872cf9a0c835e44bcf/41c812c401aafc3b62457235c8c53171.webp)
![](https://filescdn.proginn.com/67c29b09cee272e81d4b36b7b7979841/acc30965eff6d12b5d5ef3416ec326d5.webp)
6. 结语
参考
本文亮点总结
努力分享优质的计算机视觉相关内容,欢迎关注:
个人微信(如果没有备注不拉群!) 请注明:地区+学校/企业+研究方向+昵称
下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复:CVPR,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
点亮 只需一秒,我却能开心一天
评论