是否可以计算每个键在 JSON 列中出现的次数？

Question

我有一个 BigQuery 表，其中有一列包含 JSON。

我想输出每个键在列中出现的次数的计数，然后按计数降序排序。与所有键关联的值是1。

每个对象有一个已知/有限数量的键，但我宁愿不依赖它，以防看到的最大对象发生变化。

总体上存在已知/有限数量的键，但我不想依赖在列表更改时枚举/更新列表。

例如输入：三行一列名为“json”

[
  {"json": "{'A': 1}"},
  {"json": "{'B': 1}"},
  {"json": "{'B': 1, 'C': 1}"}
]

例如输出：三行两列，分别命名为“key”和“count”

[
  {"key": "B", "count": 2},
  {"key": "A", "count": 1},
  {"key": "C", "count": 1}
]

考虑到我不想依赖每个对象和整体上有限数量的键，最简单的方法是什么？

Answer 1

BigQuery 标准 SQL 如下

见Enabling Standard SQL和User-Defined Functions

CREATE TEMPORARY FUNCTION parseJson(y STRING)
RETURNS ARRAY<STRING>
LANGUAGE js AS """
  var z = new Array();
  processKey(JSON.parse(y), '');
  function processKey(node, parent) {
    Object.keys(node).map(function(key) {
      value = node[key].toString();
      if (value !== '[object Object]') {
        z.push(key)
      } else {
        if (parent !== '' && parent.substr(parent.length-1) !== '.') {parent += '.'};
        processKey(node[key], parent + key);
      };
    });         
  };
  return z
""";

WITH theTable AS (
  SELECT '{"json":{"A":"1"}}' AS json UNION ALL 
  SELECT '{"json":{"B":"1"}}' AS json UNION ALL
  SELECT '{"json":{"B":"1","C":"1"}}' AS json
)
SELECT key, COUNT(1) AS `count`
FROM theTable, UNNEST(parseJson(json)) AS key
GROUP BY key
ORDER BY 2 DESC

输出：

key count    
B       2    
A       1    
C       1    

注意：parseJson UDF 足够通用，可以处理任何 json，因此您可以例如尝试使用以下输入的上述代码，它仍然可以工作：

WITH theTable AS (
  SELECT '{"json":{"A":"1"}}' AS json UNION ALL 
  SELECT '{"json":{"B":"1"}}' AS json UNION ALL
  SELECT '{"json":{"B":"1","C":"1"}}' AS json UNION ALL
  SELECT '{"A":"1"}' AS json UNION ALL 
  SELECT '{"B":"1"}' AS json UNION ALL
  SELECT '{"B":"1","C":"1"}' AS json

)

输出：

key count    
B       4    
A       2    
C       2    

为 BigQuery Legacy SQL 添加了版本

为了简单起见，在这里展示和进一步测试 - 我在这里使用的是旧版 SQL UDF 的 inline version。旧版 SQL 中的 Inline version 不受官方支持 - 因此，如果它适用于您 - 您需要稍微改造一下 - 有关 BigQuery 旧版 SQL 中 UDF 的详细信息，请参阅 BigQuery User-Defined Functions

SELECT key, COUNT(1) as cnt
FROM JS((
  SELECT json FROM  
    (SELECT '{"json":{"A":"1"}}' AS json),
    (SELECT '{"json":{"B":"1"}}' AS json),
    (SELECT '{"json":{"B":"1","C":"1"}}' AS json),
    (SELECT '{"A":"1"}' AS json),
    (SELECT '{"B":"1"}' AS json),
    (SELECT '{"B":"1","C":"1"}' AS json)
  ),
  json,                                    // Input columns
  "[{name: 'parent', type:'string'},       // Output schema
   {name: 'key', type:'string'},
   {name: 'value', type:'string'}]",
   "function(r, emit) {                    // The function
      processKey(JSON.parse(r.json), '');
      function processKey(node, parent) {
        Object.keys(node).map(function(key) {
          value = node[key].toString();
          if (value !== '[object Object]') {
            emit({parent:parent, key:key, value:value});
          } else {
            if (parent !== '' && parent.substr(parent.length-1) !== '.') {parent += '.'};
            processKey(node[key], parent + key);
          };
        });         
      };
    }"
  )
GROUP BY key
ORDER BY cnt DESC  

Answer 2

如果您禁用旧版 SQL，则可以使用新的 bigquery REGEX_EXTRACT_ALL 函数，这似乎正是您要查找的内容：https://cloud.google.com/bigquery/sql-reference/functions-and-operators#regexp_extract_all