如何将 HDFS 中的文本文件读入 Python，并将内容保存在字符串中？

【问题标题】：How can I read a text file from HDFS into Python, and save the content in a string?如何将 HDFS 中的文本文件读入 Python，并将内容保存在字符串中？
【发布时间】：2018-12-12 12:50:40
【问题描述】：

我有一个保存在 HDFS 中的 .txt 文件，我想用 Python 读取它并将内容保存在字符串变量中。我该怎么做？

【问题讨论】：

标签： python string file load hdfs

【解决方案1】：

您可以使用 pyhdfs 包从 HDFS 服务器下载文件，然后读取文件并将其加载到字符串变量中

import pyhdfs
hdfsclient = pyhdfs.HdfsClient('HDFS_URL')

# to copy from HDFS SERVER
hdfsclient.copy_to_local(HDFS_source_file_path, LOCAL_target_file_path)

file = open(“local_file.txt”, “r”) 
String_var = file.read() 

# to copy to the HDFS SERVER
hdfsclient.copy_from_local(LOCAL_source_file_path, HDFS_target_file_path)

【讨论】：