与 Databricks 笔记本中的 blob 存储文件交互的过程

Question

在 Azure Databricks 笔记本中，我正在尝试使用以下命令对 blob 存储中的一些 csv 执行转换：

*import os
    import glob
    import pandas as pd
    os.chdir(r'wasbs://dalefactorystorage.blob.core.windows.net/dale')
    allFiles = glob.glob("*.csv") # match your csvs
    for file in allFiles:
       df = pd.read_csv(file)
       df = df.iloc[4:,] # read from row 4 onwards.
       df.to_csv(file)
       print(f"{file} has removed rows 0-3")*

不幸的是，我收到以下错误：

*FileNotFoundError: [Errno 2] 没有这样的文件或目录：'wasbs://dalefactorystorage.blob.core.windows.net/dale'

我错过了什么吗？ （我对此完全陌生）。

干杯，

戴尔

Answer 1

如果您想使用包 pandas 从 Azure blob 读取 CSV 文件，请处理它并写入 将此 CSV 文件保存到 Azure Databricks 中的 Azure blob，我建议您将 Azure blob 存储挂载为 Databricks 文件系统，然后执行此操作。更多详情请参考here。

例如

1. 安装 Azure blob

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"fs.azure.account.key.<storage-account-name>.blob.core.windows.net":"<account access key>"})

1. 处理 csv

import os
import glob
import pandas as pd

os.chdir(r'/dbfs/mnt/<mount-name>/<>')
allFiles = glob.glob("*.csv") # match your csvs
for file in allFiles:
    print(f" The old content of  file {file} : ")
    df= pd.read_csv(file, header=None)
    print(df)
    df = df.iloc[4:,]
    df.to_csv(file, index=False,header=False)
    print(f" The new content of  file {file} : ")
    df= pd.read_csv(file,header=None)
    print(df)
    break