对话短文本语义匹配-冠军代码
共 2683字，需浏览 6分钟
·
2021-10-02 12:37
向AI转型的程序员都关注了这个号👇👇👇
机器学习AI算法工程 公众号：datayx
小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。本赛道要求参赛队伍根据脱敏后的短文本query-pair，预测它们是否属于同一语义。
冠军方案
源代码获取方式
关注微信公众号 datayx 然后回复 语义配匹 即可获取。
AI项目体验地址 https://loveai.tech
数据
本项目没有提供数据，如果需要数据，请到天池比赛主页下载
https://tianchi.aliyun.com/competition/entrance/531851/introduction
预训练模型准备
下载预训练模型
nezha-base:
https://drive.google.com/file/d/1HmwMG2ldojJRgMVN0ZhxqOukhuOBOKUb/view?usp=sharing
nezha-large:
https://drive.google.com/file/d/1EtahNvdjEpugm8juFuPIN_Fs2skFmeMU/view?usp=sharing
uer/bert-base:
https://share.weiyun.com/5QOzPqq
uer/bert-large:
https://share.weiyun.com/5G90sMJ
macbert, chinese-bert-wwm-ext, chinese-roberta-wwm-ext-large
https://huggingface.co/models
预训练模型开源仓库
https://github.com/dbiir/UER-py
https://github.com/huawei-noah/Pretrained-Language-Model
下载并解压, 解压到文件夹 data, 文件夹结构如下:
预训练模型md5
环境准备
torch==1.7.0
transformers=4.3.0.rc1
simpletransformers==0.51.15
TensorRT-7.2.1.6
端到端训练脚本
cd code
bash ./run.sh
不同版本方案
方案一: 预训练(多个模型) + finetune-分类(多个模型) + 生成软标签 + 训练regression模型(软标签，单模型)
cd code
bash ./train.sh初赛使用的该方案，初赛成绩为0.9220；
方案二: 预训练(多个模型) + 加载预训练参数，初始化一个大模型 + 训练分类模型(单模型)
pipeline/pipeline_b.py训练一个144层模型(6 * 12 + 24 * 3);
该模型单模型在复赛A榜成绩0.9561；推理平均时间15ms；
方案三: 预训练(多个模型) + finetune-分类(多个模型) + 平均融合
pipeline/pipeline_d.py融合6个bert-base + 3个bert-large模型；
该模型在复赛A榜没测试，B榜成绩0.9593；推理平均时间15ms；
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx