Postgres 9.4 jsonb 数组作为表

Question

我有一个 json 数组，其中包含大约 1000 个结构元素“oid:aaa, instance:bbb, value:ccc”。

{"_id": 37637070
, "data": [{"oid": "11.5.15.1.4", "value": "1", "instance": "1.1.4"}
         , {"oid": "11.5.15.1.9", "value": "17", "instance": "1.1.4"}
         , {"oid": "12.5.15.1.5", "value": "0.0.0.0", "instance": "0"}]}

oid 和 instance 在每个 json 数组中都是唯一的。如果我可以选择更改结构，我会将格式更改为 key:value:

{"11.5.15.1.4-1.1.4":"1", "11.5.15.1.9-1.1.4": "17", "12.5.15.1.5-0": "0.0.0.0"}

但是，如果我需要保留旧结构

1. 从数组中获取特定oid 的最快方法是什么？

2. 获取包含oid、instance 和value 3 列的表的最快方法是什么。或者甚至更好的是使用 oid+instance 作为列标题的数据透视表。

对于 2。我尝试了以下方法，但在大桌子上速度很慢：

select *
from (
   select a->>'oid' oid, a->>'instance' instance, a->>'value' value1, id
   from (
      select jsonb_array_elements(config#>'{data}')  a, id
      from configuration
      ) b
   ) c
where  oid = '1.3.6.1.4.1.7352.3.10.2.5.35.3' and instance = '0' and value1 <> '1';

Answer 1

查询

您的表定义丢失。假设：

CREATE TABLE configuration (
  config_id serial PRIMARY KEY
, config jsonb NOT NULL
);

要查找给定oid 和instance 的value 及其所在行：

SELECT c.config_id, d->>'value' AS value
FROM   configuration c
     , jsonb_array_elements(config->'data') d  -- default col name is "value"
WHERE  d->>'oid'      = '1.3.6.1.4.1.7352.3.10.2.5.35.3'
AND    d->>'instance' = '0'
AND    d->>'value'   <> '1'

这是一个隐含的LATERAL 加入。比较：

• Query for array elements inside JSON type

2) 获取包含oid、instance 和value. 3 列的表的最快方法是什么

我想使用jsonb_populate_recordset()，那么你可以在表定义中提供数据类型。假设所有人为text：

CREATE TEMP TABLE data_pattern (oid text, value text, instance text);

也可以是持久化（非临时）表。这仅适用于当前会话。那么：

SELECT c.config_id, d.*
FROM   configuration c
     , jsonb_populate_recordset(NULL::data_pattern, c.config->'data') d

就是这样。重写了第一个查询：

SELECT c.config_id, d.*
FROM   configuration c
     , jsonb_populate_recordset(NULL::data_pattern, c.config->'data') d
WHERE  d.oid      = '1.3.6.1.4.1.7352.3.10.2.5.35.3'
AND    d.instance = '0'
AND    d.value   <> '1';

但这比第一个查询慢。更大表的性能关键是索引支持：

索引

您可以轻松索引标准化（翻译）表或您在问题中提出的替代布局。索引您的当前布局并不那么明显，但也是可能的。为了获得最佳性能，我建议在 data 键上使用 jsonb_path_ops 运算符类的功能索引。 Per documentation:

jsonb_ops 和jsonb_path_ops GIN 之间的技术差异 index 是前者为每个键创建独立的索引项 和数据中的值，而后者仅创建索引项 数据中的每个值。

这应该会为性能创造奇迹：

CREATE INDEX configuration_my_idx ON configuration
USING gin ((config->'data') jsonb_path_ops);

人们可能认为只有完全匹配的 JSON 数组元素才会起作用，例如：

SELECT * FROM configuration
WHERE  (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3"
                            , "instance": "0", "value": "1234"}]';

_{注意所提供值的 JSON 数组表示法（封闭[]），这是必需的。}

但是具有键子集的数组元素也可以：

SELECT * FROM configuration
WHERE  (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3"
                            , "instance": "0"}]'

困难的部分是合并您看似毫无疑问的添加谓词value <> '1'。必须注意将所有谓词应用于 same 数组元素。您可以将其与第一个查询结合使用：

SELECT c.*, d->>'value' AS value
FROM   configuration c
     , jsonb_array_elements(config->'data') d
WHERE  (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3", "instance": "0"}]'
AND    d->>'oid'      = '1.3.6.1.4.1.7352.3.10.2.5.35.3'  -- must be repeated
AND    d->>'instance' = '0'                               -- must be repeated
AND    d->>'value'   <> '1'                               -- here we can rule out

瞧。

特殊索引

如果您的表很大，则索引大小可能是一个决定因素。您可以将此特殊解决方案的性能与功能索引进行比较：

此函数从给定的jsonb 值中提取 oid-instance 组合的 Postgres 数组：

CREATE OR REPLACE FUNCTION f_config_json2arr(_j jsonb)
  RETURNS text[] LANGUAGE sql IMMUTABLE AS
$func$
SELECT ARRAY(
   SELECT (elem->>'oid') || '-' || (elem->>'instance')
   FROM   jsonb_array_elements(_j) elem
   )
$func$

我们可以在此基础上建立一个功能索引：

CREATE INDEX configuration_conrfig_special_idx ON configuration
USING  gin (f_config_json2arr(config->'data'));

并以此为基础进行查询：

SELECT * FROM configuration
WHERE  f_config_json2arr(config->'data') @> '{1.3.6.1.4.1.7352.3.10.2.5.35.3-0}'::text[]

这个想法是索引应该小得多，因为它只存储没有键的组合值。 array containment operator @> 本身的性能应该类似于 jsonb containment operator @>。我不认为会有很大的不同，但我会很感兴趣哪个更快。

类似于此相关答案中的第一个解决方案（但更专业）：

• Index for finding an element in a JSON array

旁白：

• 我不会使用 oid 作为列名，因为它也在 Postgres 中用于内部用途。
• 如果可能，我会使用没有 JSON 的普通规范化表。