使用 Hazelcast Jet 处理 JSON答案

【问题标题】：JSON processing using Hazelcast Jet使用 Hazelcast Jet 处理 JSON
【发布时间】：2021-02-23 18:41:04
【问题描述】：

我使用 PostgreSQL 作为数据库。

-------------------------
id   |  name   | value  |
-------------------------
 1   |  john   |  {"id":"0001"}
-------------------------

以上是简单的 JSON，但在应用程序级别 JSON 非常大。因此，一旦我们将 json 数据上传到 jet 中，如何通过在 Hazelcast Jet 中创建管道来处理 json 数据。任何简单的建议都会有助于开始此操作。

【问题讨论】：

这个问题相当广泛。您可以使用 Sources.jdbc() 或 PostgresCdcSources 创建批处理或流式作业，JSON 文档将是其中一个字段，然后您可以使用 Java JSON 库对其进行处理。

【解决方案1】：

从PostgreSQL获取数据到Jet有两种模式：

1/ 批处理模式，Jet 根据您提供的 SQL 查询获取数据。请参阅code sample。此模式可通过 JDBC source 获得，并生成一个映射到域对象的 ResultSet。

2/ 流模式，Jet 订阅对数据库表的更改，并在任何 INSERT、UPDATE 或 DELETE 时收到通知。该事件包含新的行值。请参阅tutorial。此模式可通过PostgresCdcSource 使用并生成ChangeRecords。

两种模式都将原始 JSON 作为字符串提供给您。您可以使用 JSON 运算符方便地将 JSON 数据映射到您的域对象，以便您可以通过下游的其他运算符处理它们。

【讨论】：