使用数据流 JdbcIO api 将 GCS 文件中可用的数据写入云 sql答案

【问题标题】：Write data available in GCS file into cloud sql using dataflow JdbcIO api使用数据流 JdbcIO api 将 GCS 文件中可用的数据写入云 sql
【发布时间】：2019-10-22 18:40:35
【问题描述】：

如何将 GCS 文件中可用的数据（即"gs://***/sampleBigtable.csv"）写入 RDBMS DB。你能分享一些例子吗？

pipeline
        .apply(TextIO.read().from("gs://***/sampleBigtable.csv"))
        .apply(JdbcIO.<String>write().withDataSourceConfiguration(
            DataSourceConfiguration.create("org.postgresql.Driver","jdbc:postgresql://***:5432/test")
                .withUsername("**")
                .withPassword("password10"))
                .withStatement("insert into person values(?,?)")
                    .withPreparedStatementSetter((element, query) -> {
                        query.setInt(1, 1);
                        query.setString(2, "Hello");
                    })
        );

【问题讨论】：

标签： google-cloud-platform google-cloud-storage google-cloud-dataflow google-cloud-sql

【解决方案1】：

我从您的问题中了解到，您在传输过程中不需要丰富文件中的数据或以其他方式对其进行操作。在这种情况下，更简单的解决方案是只使用Cloud Sql csv import options 之一。

确保文件为有效的 csv 格式，在 db 中创建表，允许 Cloud Sql 服务帐户访问存储桶并在 Cloud Shell 中运行以下命令：

gcloud sql 导入 csv [INSTANCE_NAME] gs://[BUCKET_NAME]/[FILE_NAME] \ --database=[DATABASE_NAME] --table=[TABLE_NAME]

【讨论】：