【问题标题】:Spark SQL JSON dataset query nested datastructuresSpark SQL JSON 数据集查询嵌套数据结构
【发布时间】:2014-10-03 04:29:42
【问题描述】:

我有一个简单的 JSON 数据集,如下所示。如何查询所有parts.lock 中的id=1。

JSON:

{
    "id": 1,
    "name": "A green door",
    "price": 12.50,
    "tags": ["home", "green"],
    "parts" : [
        {
            "lock" : "One lock",
            "key" : "single key"
        },
        {
            "lock" : "2 lock",
            "key" : "2 key"
        }
    ]
}

查询:

select id,name,price,parts.lockfrom product where id=1

关键是如果我使用parts[0].lock,它将返回一行,如下所示:

{u'price': 12.5, u'id': 1, u'.lock': {u'lock': u'One lock', u'key': u'single key'}, u'name': u'A green door'}

但我想返回parts 结构中的所有locks。它将返回多行,但那是我正在寻找的行。我想要完成的这种关系连接。

请帮我解决这个问题

【问题讨论】:

标签: json apache-spark


【解决方案1】:
df.select($"id", $"name", $"price", explode($"parts").alias("elem"))
  .where("id = 1")
  .select("id", "name", "price", "elem.lock", "elem.key").show

+---+------------+-----+--------+----------+
| id|        name|price|    lock|       key|
+---+------------+-----+--------+----------+
|  1|A green door| 12.5|One lock|single key|
|  1|A green door| 12.5|  2 lock|     2 key|
+---+------------+-----+--------+----------+

【讨论】:

    猜你喜欢
    • 2023-02-04
    • 1970-01-01
    • 2019-10-31
    • 1970-01-01
    • 2019-04-11
    • 1970-01-01
    • 2013-11-23
    • 2019-06-28
    • 2023-04-05
    相关资源
    最近更新 更多