如何将熊猫数据框写入 Databricks dbfs/FileStore？

Question

我是 Databricks 的新手，需要帮助将 pandas 数据帧写入 databricks 本地文件系统。

我确实在 google 中搜索过，但找不到与此类似的任何案例，还尝试了 databricks 提供的帮助指南（附件），但也没有用。尝试进行以下更改以找到我的运气，命令运行正常，但文件未写入目录（预期的 wrtdftodbfs.txt 文件已创建）

1. df.to_csv("/dbfs/FileStore/NJ/wrtdftodbfs.txt")

结果：抛出以下错误

FileNotFoundError: [Errno 2] 没有这样的文件或目录： '/dbfs/FileStore/NJ/wrtdftodbfs.txt'

1. df.to_csv("\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果：没有错误，但也没有写入任何内容

1. df.to_csv("dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果：没有错误，但也没有写入任何内容

4. df.to_csv(path ="\\dbfs\\FileStore\\NJ\\",file="wrtdftodbfs.txt")

结果：TypeError: to_csv() 得到了一个意外的关键字参数“路径”

5. df.to_csv("dbfs:\\FileStore\\NJ\\wrtdftodbfs.txt")

结果：没有错误，但也没有写入任何内容

6. df.to_csv("dbfs:\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果：没有错误，但也没有写入任何内容

目录存在并且手动创建的文件会显示出来，但 pandas to_csv 不会写入也不会出错。

dbutils.fs.put("/dbfs/FileStore/NJ/tst.txt","Testing file creation and existence")

dbutils.fs.ls("dbfs/FileStore/NJ")

输出[186]: [FileInfo(path='dbfs:/dbfs/FileStore/NJ/tst.txt', name='tst.txt', size=35)]

感谢您的时间，如果随附的细节不够清楚，请原谅我。

Answer 1

这对我有用：

outname = 'pre-processed.csv'
outdir = '/dbfs/FileStore/'
dfPandas.to_csv(outdir+outname, index=False, encoding="utf-8")

要下载文件，请将files/filename 添加到您的笔记本网址（在问号? 之前）：

https://community.cloud.databricks.com/files/pre-processed.csv?o=189989883924552#

（你需要编辑你的主页，对我来说是：

https://community.cloud.databricks.com/?o=189989883924552#)

dbfs file explorer

Answer 2

在你的笔记本数据块中试试这个：

import pandas as pd
from io import StringIO

data = """
CODE,L,PS
5d8A,N,P60490
5d8b,H,P80377
5d8C,O,P60491
"""

df = pd.read_csv(StringIO(data), sep=',')
#print(df)
df.to_csv('/dbfs/FileStore/NJ/file1.txt')

pandas_df = pd.read_csv("/dbfs/FileStore/NJ/file1.txt", header='infer') 
print(pandas_df)