【问题标题】:what's the meaning of the categories in the corpus reuters of NLTKNLTK的reuters语料库中的类别是什么意思
【发布时间】:2014-08-05 08:20:22
【问题描述】:

我在做文本主题分类时遇到了问题。

我在 NLTK "reuters" 语料库中获得了数据..

但是当我尝试“reuters.categories()”时

结果是

['acq', 'alum', '大麦', 'bop', '胴体', '蓖麻油', '可可', '椰子', '椰子油', '咖啡', '铜', 'copra-cake', 'corn', 'cotton', 'cotton-oil', 'cpi', 'cpu', 'crude', 'dfl', 'dlr', 'dmk', 'earn', “燃料”、“天然气”、“gnp”、“黄金”、“谷物”、“花生”、“花生油”、“热量”、“猪”、“住房”、“收入”、“安装债务” ', '兴趣', 'ipi', '钢铁', 'jet', 'jobs', 'l-cattle', 'lead', 'lei', 'lin-oil', 'livestock', 'lumber ', 'meal-feed', 'money-fx', 'money-supply', '石脑油', 'nat-gas', 'nickel', 'nkr', 'nzdlr', 'oat', 'oilseed', '橙','钯','棕榈油','palmkernel','pet-chem','铂','马铃薯','丙烷','rand','菜油','菜籽', “储备”、“零售”、“大米”、“橡胶”、“黑麦”、“船”、“银”、“高粱”、“豆粕”、“豆油”、“大豆”、“战略” -金属,“糖”,“太阳粉”,“太阳油”,“太阳籽”,“茶”,“锡”,“贸易”,“植物油”,“小麦”,“wpi”, '日元','锌']

我几乎不知道每个是什么意思,我能找到一些解释吗?

【问题讨论】:

    标签: python nlp nltk corpus


    【解决方案1】:

    NLTK 语料库 API 中有关路透社语料库的信息:

    • Reuters-21578“ApteMod”语料库是为文本分类而构建的。

    • ApteMod 是来自路透社的 10,788 个文档的集合 财经通讯服务

    • 在 ApteMod 语料库中,每个文档都属于一个或多个类别。语料库共有90个类别。

    fileid到类别的映射可以在~/nltk_data/corpora/reuters/cats.txt找到

    from os.path import expanduser
    from collections import defaultdict
    from nltk.corpus import reuters
    
    home = expanduser("~")
    id2cat = defaultdict(list)
    
    for line in open(home+'/nltk_data/corpora/reuters/cats.txt','r'):
        fid, _, cats = line.partition(' ')
        id2cat[fid] = cats.split()
    
    for fileid in reuters.fileids():
        for sent in reuters.sents(fileid):
            print id2cat[fileid], sent
    

    [出]:

    ['trade'] ['ASIAN', 'EXPORTERS', 'FEAR', 'DAMAGE', 'FROM', 'U', '.', 'S', '.-', 'JAPAN', 'RIFT', 'Mounting', 'trade', 'friction', 'between', 'the', 'U', '.', 'S', '.', 'And', 'Japan', 'has', 'raised', 'fears', 'among', 'many', 'of', 'Asia', "'", 's', 'exporting', 'nations', 'that', 'the', 'row', 'could', 'inflict', 'far', '-', 'reaching', 'economic', 'damage', ',', 'businessmen', 'and', 'officials', 'said', '.']
    ...
    

    您可以从此文件中找到有关类别的信息:~/nltk_data/corpora/reuters/README:

      The Reuters-21578 benchmark corpus, ApteMod version
    

    这是众所周知的 Reuters-21578 的公开版本 用于文本分类的“ApteMod”语料库。它已用于 像这样的出版物:

    ApteMod 是 10,788 份来自路透社金融的文件的集合 新闻专线服务,划分为包含 7769 个文档的训练集 和一个包含 3019 个文档的测试集。语料库的总大小为 大约 43 MB。它也可以从 http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html , 其中包括更广泛的数据修订历史。

    ApteMod 语料库中的类别分布高度倾斜, 36.7% 的文档属于最常见的类别,并且只有 在五个最不常见的类别中的每一个中都有 0.0185%(2 个文档)。事实上,原始数据源更加倾斜——在创建 语料库,任何不包含至少一个文档的类别 训练集和测试集中的一个文档被从 语料库由其原始创建者提供。

    在 ApteMod 语料库中,每个文档属于一个或多个 类别。语料库中有90个类别。平均值 每个文档的类别数为 1.235,平均 每个类别的文档约为 148 个,占语料库的 1.37%。

    -肯·威廉姆斯 ken@mathforum.org

         Copyright & Notification 
    

    (摘自上面UCI地址的README)

    新闻专线文章和路透社的文字版权 Reuters-21578 集合中的注释由 Reuters Ltd. 提供。 Reuters Ltd. 和 Carnegie Group, Inc. 已同意允许免费 此数据的分布仅用于研究目的

    如果您发布基于此数据集的结果,请确认其 使用,参考名称为“Reuters-21578, Distribution 1.0”,并告知读者数据集的当前位置(请参阅“可用性和问题”)。

    【讨论】:

    • 如果您点击链接kdd.ics.uci.edu/databases/reuters21578/reuters21578.html,它会说 ModApté 拆分有 12902 个条目,而不是 10788 个。为什么会有这种差异?
    • 有趣,可能是因为标记化/文件读取问题。
    • 啊,因为 ApteMod 和 ModApte 之间是有区别的。 ApteMod 与 ModApte 的 R(90) 子集相同。令人困惑的是,很多文献将 ModApte 描述为拥有 10788 个文档,严格来说这不是真的。但是当该子集被命名为 ApteMod 时会很困难。
    猜你喜欢
    • 2018-04-22
    • 1970-01-01
    • 1970-01-01
    • 2013-11-02
    • 2015-10-10
    • 2023-03-09
    • 1970-01-01
    • 1970-01-01
    • 2011-08-15
    相关资源
    最近更新 更多