使用 PySpark 从 Cloudera CDSW 项目中读取文件

Question

我的 Cloudera 项目中有一个文件位于“/home/cdsw/npi.json”下。我尝试使用以下命令来使用 PySpark 从我的“本地”CDSW 项目中读取数据，但无法使用以下任何命令进行读取。他们都抛出“路径不存在：”错误

npi = sc.read.format("json").load("file:///home/cdsw/npi.json")

npi = sc.read.format("json").load("file:/home/cdsw/npi.json")

npi = sc.read.format("json").load("home/cdsw/npi.json")

Answer 1

根据本文档，Accessing Data from HDFS

从终端，将文件从本地文件系统复制到HDFS。使用-put 或-copyFromLocal。

hdfs dfs -put /home/cdsw/npi.json /destination

/destination 在HDFS 中。

然后，读取PySpark中的文件。

npi = sc.read.format("json").load("/destination/npi.json")

更多信息：

放

put [-f] [-p] [-l] <localsrc> ...  <destination> 

将文件从本地文件系统复制到 fs 中。如果文件已经复制，则复制失败 存在，除非给出 -f 标志。