使用 Python 进行 ETL

Question

我正在研究数据仓库并寻找使用 Python 的 ETL 解决方案。 我曾将 SnapLogic 用作 ETL，但我想知道是否还有其他解决方案。

这个数据仓库才刚刚开始。我还没有带来任何数据。我要加载的初始数据子集很容易超过 100 个演出。

Answer 1

是的。只需使用数据库的 DB-API 接口编写 Python。

大多数 ETL 程序都提供花哨的“高级语言”或拖放 GUI，但并没有多大帮助。

Python 既富有表现力，又易于使用。

避免混淆。只需使用普通的 Python。

我们每天都这样做，我们对结果非常非常满意。它简单、清晰、有效。

Answer 2

您可以使用 Python 提供的库pyodbc 从各种数据库源中提取数据。而不是使用pandas 数据框来根据组织需求来操作和清理数据。而不是pyodbc 将其加载到您的数据仓库。