下载 Twitter 语料库答案

【问题标题】：Downloading Twitter corpus下载 Twitter 语料库
【发布时间】：2017-11-13 10:19:44
【问题描述】：

我正在开发一个数据挖掘系统，其中一个要求是它能够在不使用 API 的情况下执行分析。有没有办法下载 Twitter 数据库（或至少其中的大部分）并在本地使用它？

【问题讨论】：

【解决方案1】：

有一篇关于从 twitter 创建语料库的论文。它被称为“TWORPUS – An Easy-to-Use Tool for the Creation of Tailored Twitter Corpora”。我建议阅读它，因为它还涉及许可问题等。他们还在Github 上提供了代码。

事实上，您不能直接下载 twitter 数据转储。我可以下载单个推文并将它们存储在语料库中。但是，也不允许共享该数据。因此，作者构建了 Tworpus 客户端来创建私有 twitter 语料库。

【讨论】：

【解决方案2】：

API 是获取 Twitter 数据的官方方式，它们工作得非常好，所以你不明白为什么你不想使用 API。网络抓取是一种解决方法，但不推荐，另外你想获得它的很大一部分，所以我认为你不会对此感到满意。您也可以从 Gnip 购买数据。

【讨论】：

我已经为该项目使用了 Twitter API，它运行良好，但我的客户指定他们不想使用 API。他们想改为在本地分析数据。您认为这件事还有其他方法（或其他可下载的数据库）吗？