【问题标题】:apache flink write data to separate hive clusterapache flink 将数据写入单独的 hive 集群
【发布时间】:2022-07-07 22:35:50
【问题描述】:

使用apache flink 是否可以写入配置单元集群,以便集群能够在其节点之间分发数据?

here 描述的示例似乎表明数据旨在用于 apache flink 节点本身的 HDFS。但是,如果您打算将 HDFS 放在单独的集群上而不是 flink 工作节点上,有哪些选择?

请耐心等待,我对这个主题完全陌生,我可能会在概念上完全搞错。

【问题讨论】:

    标签: hive apache-flink


    【解决方案1】:

    是的,您可以使用 Flink 读取和写入 Hive。在https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/connectors/table/hive/hive_read_write/ 有一个概述

    【讨论】:

    • 谢谢。我已经看过那些文档,它在哪里解释了如何在另一台主机上写入 hdfs?如何指定名称节点?
    猜你喜欢
    • 1970-01-01
    • 2019-02-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多