【问题标题】:Hazelcast Jet - Use CasesHazelcast Jet - 用例
【发布时间】:2021-06-13 10:30:02
【问题描述】:

Hazelcast Jet 有哪些用例?有人开始用了吗?
我们的项目使用 Hazelcast 进行分布式地图持有键值对和这些键上的分布式计算,以在持有键的节点上运行任务。我们也使用 NearCache 解决方案。

我很想知道 Hazelcast Jet 有何不同以及它解决了哪些问题?

【问题讨论】:

    标签: hazelcast hazelcast-jet


    【解决方案1】:

    在当前版本 (0.3) 中,Jet 与仅向每个分区提交 Runnable 相比的优势在于能够通过除 Hazelcast 映射中使用的键之外的键执行分组。为了在分布式环境中工作,您必须将每个项目发送到负责其分组密钥的处理单元,这很容易从 Jet 获得。

    除此之外,您可以构建groupBy 操作的多级级联,您可以在数据流中创建分支,以多种方式重用相同的中间结果,您可以构建一个管道,其中包含 I/O 任务将其读取的数据的处理分布在所有 CPU 内核等...总之,成熟的 DAG 计算引擎提供的所有优势。

    到 1.0 时,Jet 还将支持容错无限流处理、基于事件时间的窗口等。

    【讨论】:

      【解决方案2】:

      2021 用例答案:

      1. 更改数据捕获流式传输 - 使用 Debezium/Hazelcast 检测对数据库的更改并流式传输到其他微服务(如果数据很常见)、将更改流式传输到数据湖或更新搜索引擎
      2. 实时分析 - 获取市场数据流并实时执行技术分析或 Twitter 分析
      3. 异步作业处理 - PDF 转换服务

      【讨论】:

        猜你喜欢
        • 2023-03-08
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-11-11
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多