GCP 数据融合将多个数据从 Azure 存储传输到 Google 存储答案

【问题标题】：GCP Data fusion transfer multiples from Azure storage to Google StorageGCP 数据融合将多个数据从 Azure 存储传输到 Google 存储
【发布时间】：2021-04-28 00:05:43
【问题描述】：

我正在尝试通过数据融合将目录下的多个 (.csv) 文件从 Azure 存储容器传输到 Google 存储（作为 .txt 文件）。通过数据融合，我可以成功传输单个文件并将其转换为 .txt 文件作为 GCS Sink 的一部分。

但是当我尝试将 azure 容器下的所有 .csv 文件传输到 GCS 时，它会合并所有 .csv 文件数据并在 GCS 生成单个 .txt 文件。

有人可以帮助如何分别传输每个文件并在接收端将其转换为 txt 吗？

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow azure-blob-storage google-cloud-data-fusion data-pipeline

【解决方案1】：

您看到的是使用 GCS 接收器时的预期行为。

您需要一个 Azure 到 GCS 复制 action 插件，或者更一般地说是一个 HCFS 到 GCS 复制操作插件。不幸的是，这样的插件还不存在。您可以考虑使用https://github.com/data-integrations/example-action 作为起点编写一个。

【讨论】：

感谢您的意见。您能否告诉我，GCP 数据流可以帮助实现我的要求吗？谢谢
不确定数据流，但如果您正在寻找其他方式将数据从 Azure 传输到 GCS，请查看 stackoverflow.com/questions/41157327/…。