在 Python/PySpark 中找不到模块“preproc”答案

【问题标题】：Cannot Find Module 'preproc' in Python/PySpark在 Python/PySpark 中找不到模块“preproc”
【发布时间】：2020-08-27 10:22:00
【问题描述】：

我正在尝试学习本教程：https://runawayhorse001.github.io/LearningApacheSpark/textmining.html

我已将我的数据加载到 PySpark DataFrame 中，但是当我进入预处理步骤时，我收到错误消息“ModuleNotFoundError: No module named 'preproc'” 我在网上找不到任何关于 pip install 的信息为了能够使用 preproc 模块。

!pip install preproc 在 Jupyter 笔记本中返回，“默认为用户安装，因为普通站点包不可写警告：旧脚本包装器正在调用 pip。这将在 pip 的未来版本中失败。请参阅https://github.com/pypa/pip/issues/5599 以获取有关解决潜在问题的建议。为避免此问题，您可以使用“-m pip”调用 Python，而不是直接运行 pip。错误：找不到满足 preproc 要求的版本（来自版本：无）错误：没有为 preproc 找到匹配的分布”

python -m pip install preproc 在 cmd 中返回，“错误：找不到满足 preproc 要求的版本（来自版本：无）错误：没有为 preproc 找到匹配的分布”

如何继续查找要安装的正确软件包？

【问题讨论】：

标签： python pyspark text-classification

【解决方案1】：

向教程创建者发送电子邮件，并将他的回复发布给将来需要帮助的任何人。

“preproc 模块是为预处理功能设计的，例如 check_blanns、check_lang、remove_features 等。如果明确包含这些功能，则不需要导入 preproc 模块。”

【讨论】：

【解决方案2】：

使用的函数是之前定义的： https://runawayhorse001.github.io/LearningApacheSpark/textmining.html#text-preprocessing

您可以像 check_lang_udf = udf(check_lang, StringType()) 一样直接使用它们。或者，将这些函数作为 preproc.py 保存到 python 文件中。

【讨论】：