如何从 sparklyr 使用 spark_read_json 读取目录中的所有文件答案

【问题标题】：How to read all files in a directory with spark_read_json from sparklyr如何从 sparklyr 使用 spark_read_json 读取目录中的所有文件
【发布时间】：2016-09-26 16:14:57
【问题描述】：

我用这种结构在本地存储了 json 事件（用于调试）：events/year/month/day/hour/somefiles.log。每个file.log 是一个文件，每行都有一个 json 对象（我的事件）。

如何使用 sparklyr 包中的 spark_read_json 递归加载这些文件。我试过了：

library(sparklyr)

sc = spark_connect(master = "local")
events = spark_read_json(sc = sc, name = "events", path = "events/*")

但没有成功。

编辑 1

实际上它在路径中的某个级别上工作，例如

events = spark_read_json(sc = sc, name = "events", path = "events/year/month/day/*") 有效，但是

events = spark_read_json(sc = sc, name = "events", path = "events/year/month/*" 不起作用

【问题讨论】：

标签： json r apache-spark sparklyr

【解决方案1】：

您可能需要使用多个通配符指定路径搜索的深度。试试：

events = spark_read_json(sc = sc, name = "events", path = "events/year/month/*/*")

【讨论】：