Amazon EMR 上的 Python 映射器

Question

我正在尝试在 Amazon EMR 上将 Python 脚本作为映射器运行。

我的脚本的初始部分类似于：

import sys
import decimal

def some_function(sensor_record):
    return 1

这会导致以下错误输出：

[...]/mapper_script.py: line 1: import: command not found
[...]/mapper_script.py: line 2: import: command not found
[...]/mapper_script.py: line 5: syntax error near unexpected token `('
[...]/mapper_script.py: line 5: `def some_function(sensor_record):'

对此有什么想法吗？我以前成功地使用过 EMR，但没有使用 Python。 我通过 Web 界面运行作业并使用 boto 库。

Answer 1

你只需要添加

   #!/usr/bin/env python 

在脚本的开头，以确保 EMR 选择正确的语言。