尝试在 Dataproc 上提交作业时出现“ImportError：没有名为 pandas 的模块”

Question

我正在使用适用于 Google Cloud Dataproc 的 Python 客户端库运行一个脚本，该脚本会自动配置集群、提交作业等。但在尝试提交作业时，它会返回 ImportError: no module named pandas。我在运行作业的脚本中导入了 pandas 以及其他几个包。我不确定如何解决这个问题。

所以这有意义吗？

    #!/bin/bash
    ROLE=$(/usr/share/google/get_metadata_value attributes/dataproc-role)
    if [[ "${ROLE}" == 'Master' ]]; then 
        apt-get install python-pandas -y
        apt-get install python-numpy -y
        apt-get install g++ cmake
        apt-get install python-math
        apt-get install python-argparse
        apt-get install python-os
        apt-get install python-sys
        apt-get install python-glob
        apt-get install python-gzip
        apt-get install python-hail
     fi

这是我更新的 bash 脚本：

    #!/bin/bash
    list= "python-pandas, python-numpy, python-argparse"

    ROLE=$(/usr/share/google/get_metadata_value attributes/dataproc-role)

    if [[ "${ROLE}" == 'Master' ]]; then 
        for i in $list; do
          sudo apt-get install -y $i
        done

        wget -P /home/anaconda2/ https://repo.continuum.io/archive/Anaconda2-4.3.1-Linux-x86_64.sh
        bash /home/anaconda2/Anaconda2-4.3.1-Linux-x86_64.sh -b -f -p /home/anaconda2/
        chmod /home/anaconda2 0777
        /home/anaconda2/bin/pip install lxml
        /home/anaconda2/bin/pip install jupyter-spark
        /home/anaconda2/bin/pip install jgscm

    fi

Answer 1

默认情况下，Pands 未安装在 Dataproc 上。您可以通过类似于 one 的初始化操作安装自定义 python 库。

作为参考，我运行以下命令只是为了验证是否在至少一个节点上找到了 pandas：

#!/usr/bin/python
import pyspark
import pandas
sc = pyspark.SparkContext()
vals = sc.parallelize(xrange(1, 100))
reprs = vals.mapPartitions(lambda es: [repr(pandas) for e in es])
for r in reprs.collect():
  print r

我的初始化操作很简单：

#!/bin/bash
apt-get install python-pandas python-numpy -y