如何将数据从存储桶逐行流式传输到 python 脚本

Question

我正在处理存储在 Google Cloud 中的大型数据文件。我正在使用一个 Python 脚本，它首先下载一个包含 json 行的 blob，然后打开它以逐行分析数据。这种方法非常慢，我想知道是否存在更快的方法来做到这一点。从命令行我可以使用gsutil cat 将数据流式传输到标准输出，是否有类似的方法可以在 Python 上执行此操作？

这是我目前读取数据的方式：

myClient = storage.Client()
bucket = myClient.get_bucket(bucketname)
blob = storage.blob.Blob(blobname, bucket)
current_blob.download_to_filename("filename.txt")

file = open("filename.txt", "r")
data = f.readlines()

for line in data:
    # Do stuff

我想逐行读取 blob，无需等待下载。

编辑：我发现了这个answer，但我不清楚这个功能。我不知道如何阅读流线。

Answer 1

在answer you found 中，stream 是一个类文件对象，因此您应该能够使用它而不是打开特定的文件名。像这样的东西（未经测试）：

myClient = storage.Client()
bucket = myClient.get_bucket(bucketname)
blob = storage.blob.Blob(blobname, bucket)
stream = open('myStream','wb', os.O_NONBLOCK)
streaming = blob.download_to_file(stream)

for line in stream.readlines():
    # Do stuff