【发布时间】:2020-04-23 20:46:57
【问题描述】:
我在网络上有一个很大的 csv 文件“https://drive.google.com/file/d/1_8*************/view”(大小接近 100 MB)
是否可以直接从上述 URL 读取文件并将数据加载到 scala 数据帧中。
如果是,需要您帮助在我的系统上加载相同的内容
问候,
【问题讨论】:
我在网络上有一个很大的 csv 文件“https://drive.google.com/file/d/1_8*************/view”(大小接近 100 MB)
是否可以直接从上述 URL 读取文件并将数据加载到 scala 数据帧中。
如果是,需要您帮助在我的系统上加载相同的内容
问候,
【问题讨论】:
数据不能直接加载到 Spark。 您需要将文件下载到磁盘上,然后在 Spark 中加载它
【讨论】: