Weka 可以处理多少文本？

Question

我有一个情绪分析任务，我需要指定 weka 可以处理多少数据（在我的例子中是文本）。我已经标记了 2500 个意见的语料库。我知道这是一个很小的语料库，但我的论文导师要求我专门讨论 Weka 可以处理多少数据。

Answer 1

您对 Weka 的限制将取决于您使用的任何学习算法以及您有多少内存可用于训练。大多数分类器需要将整个集合加载到内存中进行训练，但也有流数据的选项。请参阅the weka page on big data 了解更多信息。

对于像您这样小的数据集，您不会有任何问题。但是，对于任何大数据问题，您都无法再仅在一台机器上编写脚本。 Weka 没有什么不同，一旦你到达那里，就有办法让它发挥作用。据我所知，只要有足够的硬件资源、时间和独创性，您能够处理的数据量没有硬性限制。