我是新的 Hadoop 用户，正在尝试通过 Hue 界面运行 Python 脚本。
经过一番搜索，我在 cloudera 论坛中找到了解决方案：
张贴者声明“解决方案是将 python 脚本放入 Hue -> Query -> Editor -> Spark 中的 Libs 字段中，并带有 python 脚本示例的完整路径：Libs: /user/userxyz/myscript. py 并运行查询。单击 job_xxxxx 链接将显示脚本是否成功运行。"
但是，我不知道如何在 Hadoop 分布式文件系统中加载并执行我的 Python 脚本。 Hue 界面似乎没有显示我的根目录并允许文件上传的 HDFS 功能。我是从桌面将 Python 脚本加载为文本文件，还是在 Hue 中有编辑器？
【问题讨论】：
Python 脚本可能应该由python script.py 从 Oozie 脚本任务运行，并将 HDFS 文件引用附加到工作流任务。
如果您没有 Spark 代码，那么您不应该使用 Spark Notebook Editor。
Hue 有编辑器吗？
有，如果您在文件浏览器中单击任何文件，但这会将文件下载到 Hue 服务器文件系统，然后重新上传，因此最好自己编辑和上传。
Hue 界面似乎没有显示我的根目录并允许文件上传的 HDFS 功能
INI 中有一个配置设置允许文件上传which is true by default。如果您完全禁用了文件浏览器，或者甚至是旧版本的 Hue，它可能不存在。
【讨论】：
您可以将 python 脚本写入 HUE 并将文件保存为 myScript.py。
例如，为了使用 python 和分布式文件系统，您必须安装 pySpark。
然后您可以转到 Oozie 编辑器并选择 Spark Action。在 Jar/py name 字段中，您必须提供 myScript.py。作为 ARGUMENTS，您应该提供安装 pySpark (python Api) 的路径。同样在 FILES 中，您必须提供 myScript.py 的保存路径。
【讨论】：