【问题标题】:Is it possible to read data directly from a database table for batch processing in Apache Flink than reading from a csv file?是否可以直接从数据库表中读取数据以在 Apache Flink 中进行批处理,而不是从 csv 文件中读取?
【发布时间】:2020-11-12 13:21:48
【问题描述】:

我需要我的 Flink 批处理作业来从我的 Spring Boot 项目的 postgres 数据库中读取数据。我在 Flink 中看到的选项仅用于读取 csv 文件。在这种情况下,我需要从我的表中创建一个 csv 文件。有什么解决办法吗?

【问题讨论】:

  • 是的!这正是数据库存在的原因。现在我不知道 Flask/Spring Boot,所以建议一种特定的方法并不是我喜欢的。但是在这个网站上搜索“Flink Speing Boot”。你会发现很多例子。

标签: postgresql spring-boot dataset apache-flink batch-processing


【解决方案1】:

如果你想从 Postgres 读取数据(我假设这个问题是关于)你可以使用 Flink JDBC 连接器,它允许从包括 Postgres 在内的各种数据库中读取数据。您可以找到更多信息here

猜你喜欢
  • 2017-08-21
  • 2021-10-26
  • 2023-02-02
  • 2012-01-20
  • 1970-01-01
  • 1970-01-01
  • 2011-04-05
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多