将 Google Cloud Storage 中的多个文件加载到单个 Pandas Dataframe 中

Question

我一直在尝试编写一个函数，将 Google Cloud Storage 存储桶中的多个文件加载到单个 Pandas Dataframe 中，但我似乎无法使其工作。

import pandas as pd
from google.datalab import storage
from io import BytesIO


def gcs_loader(bucket_name, prefix):
  bucket = storage.Bucket(bucket_name)
  df = pd.DataFrame()
  for shard in bucket.objects(prefix=prefix):
    fp = shard.uri
    %gcs read -o $fp -v tmp
    df.append(read_csv(BytesIO(tmp))
  return df

当我尝试运行它时说：

命令行中引用的未定义变量：$fp

Answer 1

当然，这里有一个例子： https://colab.research.google.com/notebook#fileId=0B7I8C_4vGdF6Ynl1X25iTHE4MGc

此笔记本显示以下内容：

1. 创建两个随机 CSV
2. 将两个 CSV 文件上传到 GCS 存储桶
3. 使用 GCS Python API 迭代存储桶中的文件。而且，
4. 将每个文件合并到一个 Pandas DataFrame 中。