如何将文件从谷歌云加载到工作

Question

我将文件存储在驱动器“/content/drive/My Drive/BD-CW2”文件名 pickleRdd 与作业 read_rdd.py 相同

但是当我在集群上运行作业时，我得到了

Traceback（最近一次调用最后一次）：文件 “/tmp/18dcd2bf5c104f01b6d25ea6919b7cfc/read_rdd.py”，第 55 行，在 read_RDD(sys.argv[1:]) 文件“/tmp/18dcd2bf5c104f01b6d25ea6919b7cfc/read_rdd.py”，第 32 行，在 读取_RDD

在作业中读取文件的代码

RDDFromPickle  = open('pickleRdd', 'rb')

RDDFromPickle = pickle.load(RDDFromPickle)

我如何将上面的代码重定向到阅读 从驱动器（/内容/驱动器/我的驱动器/BD-CW2）？ 或将文件从驱动器移动到集群以便作业可以访问它？ 当我在 colab 上运行时一切正常，只有在集群上运行时无法访问

似乎更简单的方法是调整

 RDDFromPickle  = open('/content/drive/My Drive/BD-CW2/pickleRdd', 'rb')

但我如何才能通过谷歌驱动器位置？

Answer 1

由于您使用的是 Google Cloud Platform，我猜您正在将 pyspark 文件部署到 Cloud Dataproc。如果是这样，我建议将您的文件上传到 Google Cloud Storage 中的 buket 并使用以下代码从那里读取此文件（猜测它是 CSV 文件）：

from pyspark.sql import SparkSession

spark = SparkSession \
   .builder \
   .appName('dataproc-python-demo') \
   .getOrCreate()

df = spark.read.format("csv").option("header", 
     "false").load("gs://<bucket>/file.csv")

count_value = df.rdd.map(lambda line: (line._c0, line._c1)).count()

print(count_value)

在上面的代码中，它创建了一个 Dataframe，我将其转换为 RDD 类型来格式化值，但您也可以使用 Dataframe 类型来执行此操作。

请注意，_c0 和 _c1 是 CSV 文件没有标题时获取的列的默认名称。获得类似这样的代码后，您可以通过以下方式将其提交到您的 dataproc 集群：

gcloud dataproc jobs submit pyspark --cluser <cluster_name> --region 
<region, example us-central1> gs://<bucket>/yourpyfile.py

要在 Dataproc 中提交新作业，您可以参考此链接 [1]。

[1]https://cloud.google.com/dataproc/docs/guides/submit-job#submitting_a_job

Answer 2

将模块 os 与 abspath 一起使用，如下所示：

import os.path
RDDFromPickle = open(os.path.abspath('/content/drive/My Drive/BD-CW2/pickleRdd', 'rb'))
RDDFromPickle = pickle.load(RDDFromPickle)