将谷歌云存储连接到 mysql

Question

您好，我不确定我是否正在寻求正确的解决方案并需要一些建议。

我有一些社交媒体平台连接器，它们以 CSV 格式转储文件。我想要实现的是例如 CSV 文件具有展示次数、范围、点击次数作为列 - 然后我想在 Google Cloud Platform 中创建一个数据管道，以使用 MySQL 工作台仅将 CSV 文件中的展示次数和点击次数输入到表中.

这可能吗？如果没有，有什么建议？我可以为此使用 Big Query，但我们只想处理 CSV 数据的一个子集，而不是全部。

请提出建议！

Answer 1

为您提供Dataprep - 一种智能云数据服务，可直观地探索、清理和准备数据。

你可以

• 从 Cloud Storage 输入您的所有 CSV 文件
• 视觉探索
• 设置清洁、改造配方
• 或过滤或加入数据集
• 以及将组合结果写入最终 CSV 或 BigQuery 等作业

Answer 2

根据 BigQuery 的功能和价格，我会使用它。您可以将文件加载到暂存/临时表中的 BigQuery 中，也可以将它们放在 Cloud Storage 中并使用 federated table 扫描它们

原理是查询文件，获取你想要的列/数据，可选地转换/过滤/清理它们，并将它们存储在你的最终表中

Create table XXX
Select ... from <Staging table/external table>