NLTK 语料库 API 中有关路透社语料库的信息:
Reuters-21578“ApteMod”语料库是为文本分类而构建的。
ApteMod 是来自路透社的 10,788 个文档的集合
财经通讯服务
在 ApteMod 语料库中,每个文档都属于一个或多个类别。语料库共有90个类别。
fileid到类别的映射可以在~/nltk_data/corpora/reuters/cats.txt找到
from os.path import expanduser
from collections import defaultdict
from nltk.corpus import reuters
home = expanduser("~")
id2cat = defaultdict(list)
for line in open(home+'/nltk_data/corpora/reuters/cats.txt','r'):
fid, _, cats = line.partition(' ')
id2cat[fid] = cats.split()
for fileid in reuters.fileids():
for sent in reuters.sents(fileid):
print id2cat[fileid], sent
[出]:
['trade'] ['ASIAN', 'EXPORTERS', 'FEAR', 'DAMAGE', 'FROM', 'U', '.', 'S', '.-', 'JAPAN', 'RIFT', 'Mounting', 'trade', 'friction', 'between', 'the', 'U', '.', 'S', '.', 'And', 'Japan', 'has', 'raised', 'fears', 'among', 'many', 'of', 'Asia', "'", 's', 'exporting', 'nations', 'that', 'the', 'row', 'could', 'inflict', 'far', '-', 'reaching', 'economic', 'damage', ',', 'businessmen', 'and', 'officials', 'said', '.']
...
您可以从此文件中找到有关类别的信息:~/nltk_data/corpora/reuters/README:
The Reuters-21578 benchmark corpus, ApteMod version
这是众所周知的 Reuters-21578 的公开版本
用于文本分类的“ApteMod”语料库。它已用于
像这样的出版物:
ApteMod 是 10,788 份来自路透社金融的文件的集合
新闻专线服务,划分为包含 7769 个文档的训练集
和一个包含 3019 个文档的测试集。语料库的总大小为
大约 43 MB。它也可以从
http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html ,
其中包括更广泛的数据修订历史。
ApteMod 语料库中的类别分布高度倾斜,
36.7% 的文档属于最常见的类别,并且只有
在五个最不常见的类别中的每一个中都有 0.0185%(2 个文档)。事实上,原始数据源更加倾斜——在创建
语料库,任何不包含至少一个文档的类别
训练集和测试集中的一个文档被从
语料库由其原始创建者提供。
在 ApteMod 语料库中,每个文档属于一个或多个
类别。语料库中有90个类别。平均值
每个文档的类别数为 1.235,平均
每个类别的文档约为 148 个,占语料库的 1.37%。
-肯·威廉姆斯 ken@mathforum.org
Copyright & Notification
(摘自上面UCI地址的README)
新闻专线文章和路透社的文字版权
Reuters-21578 集合中的注释由 Reuters Ltd. 提供。
Reuters Ltd. 和 Carnegie Group, Inc. 已同意允许免费
此数据的分布仅用于研究目的。
如果您发布基于此数据集的结果,请确认其
使用,参考名称为“Reuters-21578, Distribution
1.0”,并告知读者数据集的当前位置(请参阅“可用性和问题”)。