read_csv() 中的 S3 阅读器是先将文件下载到磁盘还是使用流式传输？

Question

我在 Pandas 中使用read_csv从 S3 读取数据。我想知道它是先将文件下载到本地磁盘然后加载到内存中，还是直接将传入的数据流式传输到内存中，而无需加载到磁盘的中间步骤。

我对 Spark 的 sqlContext.read.load 函数有同样的问题。

Answer 1

pandas uses boto用于访问s3，其中does appear to stream文件数据。