从 sift.corpora 导入维基百科

Question

我是 spark 新手，无法从 sift.corpora 导入 wikipedia 包。 我收到这个错误。 “ ImportError：没有名为“sift.corpora”的模块。这是我正在处理的笔记本。感谢您的帮助！

https://github.com/wikilinks/sift/blob/master/sift.ipynb

Answer 1

首先，这是一个 python 问题，而不是 spark 问题。错误消息告诉您它找不到要导入的模块。 siftdocumentation 告诉你必须先安装 python 包才能使用它：

pip install git+http://git@github.com/wikilinks/sift.git

您必须在每个 spark 节点上执行此命令，因为 spark 是一个分布式环境。