【论文相关】1.1 T 的 arXiv 数据集:170 万篇论文,可以看到下辈子
By 超神经
内容提要:近日,arXiv 将 170 万+ 篇的论文,打包成数据集,放在了 kaggle 平台,以后访问和下载论文,就更方便了。该数据集目前大小 1.1 TB 左右,而且之后还会随着每周的更新持续增长。
关键词:arXiv 数据集
170 万+ 篇学术论文,1.1 TB 大小,这是 arXix 最近在 kaggle 开放的一套数据集,网友问讯惊呼:太酷了!
网友评论区纷纷捧场:太棒了!
数据集整理团队表示,希望能以此激发相关研究者,探索更丰富的机器学习技术,提出更多的发现和创新。
开放数据集,让论文搜索更简单
近 30 年来,arXiv 为公众和研究团队提供学术文章的开放访问渠道,这些学术论文涵盖的领域极为广泛,从物理学的庞大分支,到计算机科学的众多分支,再到数学、统计学、电子工程、定量生物学和经济学等所有学科。
这些 arXiv 上大量的研究论文,虽然很多人从中获益,但也经常有人反映,它存在浏览、搜索和排序不方便等缺点。甚至有人还专门找到一些在 arXiv 上搜论文的技巧分享出来。
于是,为了让 arXiv 更加易于访问,康奈尔大学现在在 Kaggle 上提供了一个免费、开放的 arXiv 数据集。
康奈尔大学发表博文宣布这一消息
该数据集包含了 170 万篇学术论文,还包含了论文相关的元素(features),例如文章标题、作者、类别、摘要以及全文 PDF 等。
arXiv 执行董事 Eleonora Presani 介绍说:「在 Kaggle 上拥有整个 arXiv 语料库,极大地增加了 arXiv 论文的潜力。通过在 Kaggle 上提供数据集,我们不再只是让大家通过阅读这些文章学到知识,更重要的是,将 arXiv 背后的数据和信息,以机器可读的格式提供给公众。」
Eleonora Presani 是 arXiv 的第一任执行董事
Presani 还说:「arXiv 不仅仅是一个论文库,它还是一个知识共享的平台。这要求我们在展示和解释可用知识的方式上,不断创新。而 Kaggle 用户可以帮助突破这一创新的极限,它成为了我们进行社区协作的新渠道。」
围观:arXiv 数据集都包括些啥?
arXiv 数据集基本信息如下:
arXiv Dataset
发布人员: Paul Ginsparg,Moonshot Factory,Jack Hidary
包含数量:170 万+ 篇学术论文
数据格式:json
数据大小:1.1 TB
发布时间:2020 年 8 月
下载地址:https://www.kaggle.com/Cornell-University/arxiv
目前,arXiv 数据集提供了 json 格式的元数据文件,它包含每篇论文的相关条目,具体如下:
id:论文访问地址,可用于访问论文;
submitter:论文提交者;
authors:论文作者;
title:论文标题;
comments:论文页数和图表等其它信息;
journal-ref:论文发表的期刊信息;
doi:数字对象标识符;
abstract:论文摘要;
categories:论文在 arXiv 所属类别或标签;
versions:论文版本。
可以轻松地在这些浩如烟海的论文中进行遍历、筛选、查阅。
数据集目前已更新了 5 个版本
此外,用户还可以通过以下两个链接直接在 arXiv 上访问每篇论文:
https://arxiv.org/abs/{id}:论文页面,包括摘要和其他链接;
https://arxiv.org/pdf/{id}:论文 PDF 下载页面。
还可以批量访问:用户可以在谷歌云存储上的 bucket gs://arxiv-dataset 上免费获取完整的 PDF 文件,或通过谷歌API (json documentation 和 xml documentation)来获取。
论文 PDF 文件被分组到 tarpdfs 文件夹的几个 .tar.gz 文件中,整套数据集大约有 1.1TB 大小。具体如下所示(以下分别是 2010 年 1 月(1001)的 1、2、3 部分字段):
tarpdfs/arXiv_pdf_1001_001.tar.gz (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_001.tar.gz)
tarpdfs/arXiv_pdf_1001_002.tar.gz (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_002.tar.gz)
tarpdfs/arXiv_pdf_1001_003.tar.gz (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_003.tar.gz)
用户还可以使用 gsutil 之类的工具,将数据下载到本地计算机。
数据集中的元数据示例
不过,这个数据集具体有哪些使用场景呢?很多网友已经有了想法,比如主题建模、用该数据训练 GPT-3 等。
arXiv:巨大的学术论文资源库
科研学术圈的同学,对 arXiv 一定都不陌生。
它是一个收集物理学、数学、计算机科学与生物学论文预印本的网站,不仅为广大科研人员提供了一个 idea「占坑」的平台,也是大家搜索、阅读论文的巨大资源库。
截至 2008 年 10 月,arXiv.org 已收集超过 50 万篇预印本;至 2014 年底,其藏量达到 100 万篇;截至 2016 年 10 月,arXiv 提交量每月已经超过 10000 篇。
目前 arXiv 上的学术论文已经有约 174.46 万篇
arXiv 最早是由物理学家保罗·金斯巴格,在 1991 年建立的网站,本意是收集物理学的论文预印本,随后括及天文、数学等其它领域。
arXiv 原先挂在洛斯阿拉莫斯国家实验室(LANL),因此早期被称为「LANL预印本数据库」。目前 arXiv 落脚于康奈尔大学,并在全球各地设有镜像站点。网站在 1999 年改名为 arXiv.org。
现在,用通俗的话来说,arXiv 就是一个用来「占坑」的网站,研究者们为了防止自己的 idea 在论文被收录之前被别人剽窃,就会将预稿先发表在 arXiv 上,以证明自己的原创性。
参考资料:
https://blogs.cornell.edu/arxiv/2020/08/05/leveraging-machine-learning-to-fuel-new-discoveries-with-the-arxiv-dataset/
https://www.kaggle.com/Cornell-University/arxiv?select=arxiv-metadata-oai-snapshot.json
https://zh.wikipedia.org/wiki/ArXiv
—— 完 ——
往期精彩回顾
获取一折本站知识星球优惠券,复制链接直接打开:
https://t.zsxq.com/662nyZF
本站qq群1003271085。
加入微信群请扫码进群(如果是博士或者准备读博士请说明):