【论文相关】1.1 T 的 arXiv 数据集:170 万篇论文,可以看到下辈子

共 3109字,需浏览 7分钟

 ·

2020-08-12 05:56


By 超神经


内容提要:近日,arXiv 将 170 万+ 篇的论文,打包成数据集,放在了 kaggle 平台,以后访问和下载论文,就更方便了。该数据集目前大小 1.1 TB 左右,而且之后还会随着每周的更新持续增长。


关键词:arXiv 数据集 


170 万+ 篇学术论文,1.1 TB 大小,这是 arXix 最近在 kaggle 开放的一套数据集,网友问讯惊呼:太酷了!


网友评论区纷纷捧场:太棒了!


数据集整理团队表示,希望能以此激发相关研究者,探索更丰富的机器学习技术,提出更多的发现和创新。


 开放数据集,让论文搜索更简单


近 30 年来,arXiv 为公众和研究团队提供学术文章的开放访问渠道,这些学术论文涵盖的领域极为广泛,从物理学的庞大分支,到计算机科学的众多分支,再到数学、统计学、电子工程、定量生物学和经济学等所有学科。


这些 arXiv 上大量的研究论文,虽然很多人从中获益,但也经常有人反映,它存在浏览、搜索和排序不方便等缺点。甚至有人还专门找到一些在 arXiv 上搜论文的技巧分享出来。


于是,为了让 arXiv 更加易于访问,康奈尔大学现在在 Kaggle 上提供了一个免费、开放的 arXiv 数据集。


康奈尔大学发表博文宣布这一消息


该数据集包含了 170 万篇学术论文,还包含了论文相关的元素(features),例如文章标题、作者、类别、摘要以及全文 PDF 等。


arXiv 执行董事 Eleonora Presani 介绍说:「在 Kaggle 上拥有整个 arXiv 语料库,极大地增加了 arXiv 论文的潜力。通过在 Kaggle 上提供数据集,我们不再只是让大家通过阅读这些文章学到知识,更重要的是,将 arXiv 背后的数据和信息,以机器可读的格式提供给公众。」


Eleonora Presani 是 arXiv 的第一任执行董事


Presani 还说:「arXiv 不仅仅是一个论文库,它还是一个知识共享的平台。这要求我们在展示和解释可用知识的方式上,不断创新。而 Kaggle 用户可以帮助突破这一创新的极限,它成为了我们进行社区协作的新渠道。」


 围观:arXiv 数据集都包括些啥?


arXiv 数据集基本信息如下:


arXiv Dataset

发布人员: Paul Ginsparg,Moonshot Factory,Jack Hidary

包含数量:170 万+ 篇学术论文

数据格式:json

数据大小:1.1 TB

发布时间:2020 年 8 月

下载地址:https://www.kaggle.com/Cornell-University/arxiv


目前,arXiv 数据集提供了 json 格式的元数据文件,它包含每篇论文的相关条目,具体如下:


  • id:论文访问地址,可用于访问论文;

  • submitter:论文提交者;

  • authors:论文作者;

  • title:论文标题;

  • comments:论文页数和图表等其它信息;

  • journal-ref:论文发表的期刊信息;

  • doi:数字对象标识符;

  • abstract:论文摘要;

  • categories:论文在 arXiv 所属类别或标签;

  • versions:论文版本。


可以轻松地在这些浩如烟海的论文中进行遍历、筛选、查阅。


数据集目前已更新了 5 个版本


此外,用户还可以通过以下两个链接直接在 arXiv 上访问每篇论文:


  • https://arxiv.org/abs/{id}:论文页面,包括摘要和其他链接;

  • https://arxiv.org/pdf/{id}:论文 PDF 下载页面。


还可以批量访问:用户可以在谷歌云存储上的 bucket gs://arxiv-dataset 上免费获取完整的 PDF 文件,或通过谷歌API (json documentation 和 xml documentation)来获取。


论文 PDF 文件被分组到 tarpdfs 文件夹的几个 .tar.gz 文件中,整套数据集大约有 1.1TB 大小。具体如下所示(以下分别是 2010 年 1 月(1001)的 1、2、3 部分字段):


tarpdfs/arXiv_pdf_1001_001.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_001.tar.gz)tarpdfs/arXiv_pdf_1001_002.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_002.tar.gz)tarpdfs/arXiv_pdf_1001_003.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_003.tar.gz)


用户还可以使用 gsutil 之类的工具,将数据下载到本地计算机。


数据集中的元数据示例


不过,这个数据集具体有哪些使用场景呢?很多网友已经有了想法,比如主题建模、用该数据训练 GPT-3 等。



 arXiv:巨大的学术论文资源库


科研学术圈的同学,对 arXiv 一定都不陌生。


它是一个收集物理学、数学、计算机科学与生物学论文预印本的网站,不仅为广大科研人员提供了一个 idea「占坑」的平台,也是大家搜索、阅读论文的巨大资源库。


截至 2008 年 10 月,arXiv.org 已收集超过 50 万篇预印本;至 2014 年底,其藏量达到 100 万篇;截至 2016 年 10 月,arXiv 提交量每月已经超过 10000 篇。


目前 arXiv 上的学术论文已经有约 174.46 万篇


arXiv 最早是由物理学家保罗·金斯巴格,在 1991 年建立的网站,本意是收集物理学的论文预印本,随后括及天文、数学等其它领域。


arXiv 原先挂在洛斯阿拉莫斯国家实验室(LANL),因此早期被称为「LANL预印本数据库」。目前 arXiv 落脚于康奈尔大学,并在全球各地设有镜像站点。网站在 1999 年改名为 arXiv.org。


现在,用通俗的话来说,arXiv 就是一个用来「占坑」的网站,研究者们为了防止自己的 idea 在论文被收录之前被别人剽窃,就会将预稿先发表在 arXiv 上,以证明自己的原创性。


参考资料:

https://blogs.cornell.edu/arxiv/2020/08/05/leveraging-machine-learning-to-fuel-new-discoveries-with-the-arxiv-dataset/

https://www.kaggle.com/Cornell-University/arxiv?select=arxiv-metadata-oai-snapshot.json

https://zh.wikipedia.org/wiki/ArXiv


—— 完 ——


往期精彩回顾





获取一折本站知识星球优惠券,复制链接直接打开:

https://t.zsxq.com/662nyZF

本站qq群1003271085。

加入微信群请扫码进群(如果是博士或者准备读博士请说明):

浏览 36
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报