【问题标题】：Automate data transforming ( SQL) and then push processed data to Tableau自动化数据转换 (SQL)，然后将处理后的数据推送到 Tableau
【发布时间】：2021-05-23 00:51:21
【问题描述】：
我对自动化数据转换过程的方法有疑问。
我通常做的是使用 python 或 postgresql 转换数据，然后将处理后的数据导出为 csv。之后，我将 csv 文件连接到 Tableau。
我做了一些研究，发现 ETL 可以提供帮助。但是，我看过一些 ETL 工具的演示视频，我不确定这些工具的转换功能是否能满足我的需要。例如，我为我的一项数据转换任务编写了 100 多条 sql 行；如果我可以使用 postgresql 来运行查询而不是使用 ETL 工具，那就更好了。
问题是我不知道自动化数据转换过程然后将数据推送到 Tableau 的正确方法是什么。 csv 文件每天都会更新，所以我需要刷新数据。
【问题讨论】：
标签：
sql
database
postgresql
etl
analysis
【解决方案1】：
数据转换可以通过多种方式完成。这取决于您的数据性质，以确定什么是最合适的。
如果您拥有大量数据并且熟悉 python/java，您可以使用 spark 自动化您的转换逻辑并将其写入 hive 表，然后连接 tableau 以从 hive 读取数据。
大多数下一代 ETL 工具（如 pentaho 和 talend）都可以使用，但这会削弱 spark 或 beam 等框架所能提供的灵活性和可移植性。
如果您想知道，如何使用 GCP 或 AWS 等云提供商服务来实现这一点，请告诉我
【解决方案2】：
Prep 是用于准备数据的 Tableau 工具。它可用于连接、追加、清理、透视、过滤和其他数据清理活动。
Tableau Prep 可用：
- 如果您拥有 Tableau Creator 许可证，则免费
- 在桌面和 Online/Tableau 服务器版本中
Tableau Online/Server 中提供了计划准备流程。要安排流程，您需要获取 Tableau Prep Conductor 插件。