全新HuggingFace数据集库发布!带来467种语言的611个文本数据集

新智元

共 1767字,需浏览 4分钟

 ·

2021-01-14 10:55



  新智元报道  

来源:Huggingface

编辑:Q

【新智元导读】NLP初创公司 HuggingFace 近日发布新版其Datasets库 v1.2,包括611 个文本数据集,可以下载以准备在一行 python 中使用;涵盖 467 种语言,其中 99 种包含至少 10 个数据集;当使用非常大的数据集时(默认情况下是内存映射),高效的预处理可以使用户摆脱内存限制。



谈到 Hugging Face,熟悉NLP的朋友们可能无人不知。

Hugging Face是一家领先的 NLP 创业公司,有超过一千家公司使用他们的产品库,其中包括必应,苹果,Monzo等。
 
 
它拥有一个大型的开源社区,尤其是transformers库。transformers 是一个基于 python 的库,它公开了一个 API 来使用许多著名的transformer架构,如 BERT、 RoBERTa、 GPT-2或 DistilBERT等,这些架构可以获得各种 NLP 任务的SOTA结果,如文本分类、信息抽取、问答和文本生成。
 
 
这些架构都通过预训练得到了权重。通过pip命令即可安装:
 
 
而本次更新的datasets是一个提供两个主要特性的轻量级库:
 
一行程序处理: 这是用于下载和预处理任何主要公共数据集的一行程序(使用467种语言和方言),在HuggingFace Datasets Hub提供。
 
使用一个简单的命令,比如:
 
squad _ dataset = load _ datasets (“ squad”)
 
即可获得这些数据集中的任何一个,以便在数据采集器中用于训练/评估 ML 模型(Numpy/Pandas/PyTorch/TensorFlow/JAX) 。
 
高效的数据预处理:简单、快速、可复制的数据数据预处理,可用于上述公共数据集以及用 CSV/JSON/text 编写的本地数据集。使用简单的命令,比如:tokenized_dataset = dataset.map(tokenize_exemple),  ,可以有效地准备数据集进行检验和 ML 模型评估和训练。
 
Datasets还提供了15个以上的评价指标,旨在让社区容易地添加和共享新的数据集和评价指标。
 
Datasets还有许多其他有趣的特性:
 
将用户从 RAM 内存限制中释放出来,所有数据集都使用一个有效的零序列化开销后端(Apache Arrow)进行内存映射;
 
 智能缓存: 永远无需等待数据被多次处理;
 
 使用透明和 pythonic API (多处理/缓存/内存映射)实现轻量级和快速;
 
 与 NumPy、 pandas、 PyTorch、 Tensorflow 2和 JAX 的内置互操作性。
 
安装和用法
 
datasets可以从 PyPi 安装,而且必须在虚拟环境中安装(例如 venv 或 conda):
 
pip install datasets
 
如果想要将Datasets与 PyTorch (1.0 +)、 TensorFlow (2.2 +)或Pandas等一起使用,还应该安装对应版本的框架和库。
 
Datasets使用起来非常简单,其中主要的方法有:
 
1.datasets.list_datasets() 列出可用的数据集
 
2.datasets.load_dataset(dataset_name, **kwargs)  实例化一个数据集
 
3.datasets.list_metrics()  列出可用的指标
 
4.datasets.load_metric(metric_name, **kwargs)实例化一个指标
 
举一个简单的例子:
 
 
 
更多详细信息,可以查看文档中的快速浏览页面:
https://huggingface.co/docs/datasets/quicktour.html

推荐阅读:

15岁上浙大、22岁获世界冠军,90后「天才黑客」为何被开除、错失上亿股票?

克劳德·香农:看我如何发明未来




浏览 52
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报