北航学长的NLP赛事教程!
Datawhale
共 2986字,需浏览 6分钟
·
2022-07-17 18:36
赛事背景
在人工智能领域的学习中,研读有关文献是非常重要的学习途径,而如何在汗牛充栋的论文库中,高效快速的检索到相关重要文献,就成为知识学习首先要解决的难点。
完整代码实践:
https://xj15uxcopw.feishu.cn/docx/doxcnUDk1pzzvBWi5AIfBGBpyne
赛题任务
机器通过对论文摘要等信息的理解,划分论文类别。具体输入输出示例如下:
输入:论文信息,格式如下图
![](https://filescdn.proginn.com/b8e70ba16668ef9cc8c1f5942f13fea4/3dffdc687d922fe136935314d3381aef.webp)
输出:电气
实践思路
本赛题是一个典型的文本分类任务。由于文本数据是典型的非结构化数据,此类实践的处理通常涉及到 特征提取 和 分类模型 两部分。常见的思路有两种:基于机器学习的思路和基于深度学习的思路。
可以先尝试基于机器学习的思路:TF-IDF + 机器学习分类器,其中分类器选择SGD线性分类器。SGD是线性分类器的一种,可以理解为逻辑回归+随机梯度下降,适合处理文本TF-IDF编码后的稀疏场景。
实践代码
具体代码如下:
#安装相关依赖库 如果是windows系统,cmd命令框中输入pip安装,参考上述环境配置
#!pip install sklearn
#!pip install pandas
#---------------------------------------------------
#导入库
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import SGDClassifier
from sklearn.model_selection import cross_val_score
#----------------数据探索----------------
#数据预处理
#加载训练集
train_df = pd.read_csv('./基于论文摘要的文本分类与查询性问答公开数据/train.csv', sep=',')
#加载测试集
test_df = pd.read_csv('./基于论文摘要的文本分类与查询性问答公开数据/test.csv', sep=',')
#EDA数据探索性分析
train_df.head()
test_df.head()
#----------------特征工程----------------
#将Topic(Label)编码
train_df['Topic(Label)'], lbl = pd.factorize(train_df['Topic(Label)'])
#将论文的标题与摘要组合为 text 特征
train_df['Title'] = train_df['Title'].apply(lambda x: x.strip())
train_df['Abstract'] = train_df['Abstract'].fillna('').apply(lambda x: x.strip())
train_df['text'] = train_df['Title'] + ' ' + train_df['Abstract']
train_df['text'] = train_df['text'].str.lower()
test_df['Title'] = test_df['Title'].apply(lambda x: x.strip())
test_df['Abstract'] = test_df['Abstract'].fillna('').apply(lambda x: x.strip())
test_df['text'] = test_df['Title'] + ' ' + test_df['Abstract']
test_df['text'] = test_df['text'].str.lower()
#使用tfidf算法做文本特征提取
tfidf = TfidfVectorizer(max_features=2500)
#----------------模型训练----------------
train_tfidf = tfidf.fit_transform(train_df['text'])
clf = SGDClassifier()
cross_val_score(clf, train_tfidf, train_df['Topic(Label)'], cv=5)
test_tfidf = tfidf.transform(test_df['text'])
clf = SGDClassifier()
clf.fit(train_tfidf, train_df['Topic(Label)'])
test_df['Topic(Label)'] = clf.predict(test_tfidf)
#----------------结果输出----------------
test_df['Topic(Label)'] = test_df['Topic(Label)'].apply(lambda x: lbl[x])
test_df[['Topic(Label)']].to_csv('submit.csv', index=None)
上分思路
上述代码详细讲解了基于机器学习的思路,若想进阶实践,可考虑尝试基于深度学习来进行实践,提供以下几种常见解题思路供大家参考:
思路1:FastText:FastText是入门款的词向量,利用Facebook提供的FastText工具,可以快速构建出分类器。 思路2:WordVec + 深度学习分类器:WordVec是进阶款的词向量,并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRNN或者BiLSTM。 思路3:Bert词向量:Bert是高配款的词向量,具有强大的建模学习能力。
新手村
本文为Datawhale项目实践1.0的教程,如果你是在校生,或者刚入门阶段,可以进内测群,我们在学习反馈中一起优化教程。
整理不易,点赞三连↓
评论