如何将我的 PostgreSQL 数据 ETL 到 ClickHouse 数据仓库？

【问题标题】：How to ETL my PostgreSQL data into a ClickHouse datawarehouse?如何将我的 PostgreSQL 数据 ETL 到 ClickHouse 数据仓库？
【发布时间】：2022-08-24 12:00:21
【问题描述】：

我将数据存储在 postgreSQL 作为数据源，我想加载 clickhouse 数据仓库的维度和事实表，我是 clickhouse 的新手，曾经使用 Talend 和 Microsoft SSIS 等传统集成工具来执行 ETL （PS 我正在为 clickhouse 和 postgreSQL 使用 docker 图像）

标签： postgresql etl data-warehouse business-intelligence clickhouse

【解决方案1】：

查看 PostgreSQL 引擎集成 here，您可以在其中对存储在远程 PostgreSQL 中的数据执行 ClickHouse 上的 SELECT 和 INSERT 查询。

您也可以使用table function。

【讨论】：

【解决方案2】：

您可以使用多种方法将 Postgres 中的数据摄取到 Clickhouse：

使用外部 ETL 工具，如 Airbyte 并制作从 Postgres 到 Clikhouse 的连接器
使用Clickhouse integrations table engine 创建从 Clickhouse 到 Postgres 数据的视图，然后使用 insert into 查询将该视图中的数据插入到真正的 Clickhouse 表中

【讨论】：