如何在hadoop分布式文件系统（hdfs）上执行python文件（.py）

Question

Hadoop 提供了使用

在集群上直接运行 java 应用程序的可能性

hadoop jar <jar>

现在我有一个 python 脚本而不是一个 java 应用程序。

下面是 .py 文件的构造，没有所有功能，只剩下“remove-files-from-folder”部分

import os.path

def transform():
    inputfolder = "input"
    for filename in os.listdir(inputfolder):
        path = inputfolder + "\\" + filename
        os.remove(path)
def main():
    transform()
if __name__ == "__main__":  main()

有没有办法像执行 .jar 文件一样执行 .py 文件？

我是 Python 和 Hadoop 的新手。如果我的方法看起来完全不对劲并且没有意义，我很高兴得到任何澄清！

Answer 1

如果您只是想在集群中分发您的 python 脚本，那么您希望使用 Hadoop Streaming。

该命令的基本语法如下（来自https://hadoop.apache.org/docs/r1.2.1/streaming.html）：

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper myPythonScript.py \
-file myPythonScript.py

这基本上为您的 python 脚本创建了一个 map-reduce 作业