【数据竞赛】kaggle竞赛宝典-多分类相关指标优化​

机器学习初学者

共 2243字,需浏览 5分钟

 ·

2021-03-03 11:13

↑↑↑关注后"星标"kaggle竞赛宝典
 kaggle竞赛宝典 
作者: 尘沙杰少谢嘉嘉DOTA有夕

赛题理解,分析,规划之多分类相关指标优化


这是一个系列篇,后续我们会按照我们第一章中的框架进行更新,因为大家平时都较忙,不会定期更新,如有兴趣欢迎长期关注我们的公众号,如有任何建议可以在评论区留言。

1. kaggle竞赛宝典-竞赛框架篇!

2.1 赛题理解,分析,规划之赛题理解与分析上半篇!

2.2  kaggle竞赛宝典-回归相关指标优化!

2.3  kaggle竞赛宝典-二分类相关指标优化

4.1 kaggle竞赛宝典-样本筛选篇!

4.2 kaggle竞赛宝典-样本组织篇!


1. categorization accuracy

1.1 定义

其中,为测试样本的个数,为第个样本的标签,为预测的第个样本的类别。

1.2 案例

  1. What's Cooking?
  2. Anomaly Detection Challenges 2015 - Challenge 2
  3. Ghouls, Goblins, and Ghosts... Boo!
  4. Cdiscount’s Image Classification Challenge
  5. Sentiment Analysis on Movie Reviews

1.3 求解

使用multiclass第对应的损失函数,

  • 表示第个样本标签为的情况,如果标签为则是1,反之为0。则是模型预测样本属于第的概率。

2. MultiLogloss

2.1 定义

其中,为测试样本的个数,为类标签的个数。

2.2 案例

  1. San Francisco Crime Classification
  2. Telstra Network Disruptions
  3. TalkingData Mobile User Demographics
  4. Walmart Recruiting: Trip Type Classification
  5. Shelter Animal Outcomes
  6. The Nature Conservancy Fisheries Monitoring
  7. Two Sigma Connect: Rental Listing Inquiries
  8. Personalized Medicine: Redefining Cancer Treatment

2.3 求解

针对准确率问题,目前常采用的损失函数为multiclasslogloss ,其数学形式如下:

直接进行优化即可。

3. MAP(Mean Average Precision )

3.1 定义

其中为用户的个数,为在截止点处的精度(Precision),是预测物品的数量,是给定用户购买物品的数量。如果,则精度定义为0。

3.2 案例

  1. Coupon Purchase Prediction
  2. Facebook V: Predicting Check Ins

3.3 求解

使用sigmoid_cross_entropy,注意与其它常用的多分类损失函数的区别。

4. Mean F1

4.1 定义

4.2 案例

  1. Transfer Learning on Stack Exchange Tags

4.3 求解

  • Top5有一名开源的选手选用的是Mean square Loss进行的优化.

5. Average Jaccard Index

5.1 定义

两个区域的Jaccard Index可以表示为:

其中TP表示True positive的面积,FP表示false positive的面积,FN表示false negative的面积。

5.2 案例

  1. Dstl Satellite Imagery Feature Detection

5.3 求解

  • 基于Sigmoid的损失函数。





参考文章





  1. 损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系:https://blog.csdn.net/sjyttkl/article/details/103958639
  2. https://github.com/nagadomi/kaggle-coupon-purchase-prediction
  3. https://github.com/viig99/stackexchange-transfer-learning
  4. https://deepsense.io/deep-learning-for-satellite-imagery-via-image-segmentation/
  5. https://arxiv.org/pdf/1505.04597.pdf
  6. https://github.com/toshi-k/kaggle-satellite-imagery-feature-detection

往期精彩回顾





本站qq群704220115,加入微信群请扫码:

浏览 62
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报