【发布时间】：2017-05-29 01:04:00
【问题描述】：
背景信息：
我有一个传统的 ETL（在 SQL Server 上），大约需要 6 个小时才能完成。我正在寻找优化 ETL。以下是我已经采取的步骤：
从逻辑中删除了不必要的 CURSOR。对于我无法删除的其余部分，我使用了 READ_ONLY、FAST_FORWARD、INSENSITIVE。
发生了一些数据排序，我将其删除。
使用编译器提示或联接提示调整长时间运行的 SQL 查询。
删除了从源中获取的不必要的列。
也对表进行了分区。我使用了分区开关，它确实提高了一些性能。
我还缺少任何其他方法可以帮助加快 ETL 吗？在这一点上，我们没有选择添加更强大的硬件资源或迁移到 Hadoop。
任何帮助将不胜感激。
【问题讨论】：
-
这不是很多信息。您正在使用什么样的操作？你知道这个过程的哪些部分花费的时间最长吗？您可以发布任何相关代码吗？
-
你用的是什么ETL工具？
-
没有像 informatica 或 Appworx 这样的自定义 ETL 工具。 ETL 是使用 SQL 存储过程和 Unix Shell 脚本自定义编写的。财务部分花费的时间最长。你想要整个 etl 的代码吗？
-
OK 让您稍微了解您的情况。您的 ETL 是加载 所有 历史记录还是仅加载当前周期？不要发布所有代码。采取下一步并确定代码的哪一部分最慢并考虑发布。如果您只是发布一堵无济于事的代码墙。哦，您需要标记 RDBMS（Oracle、SQL Server 等）
-
ETL 确实加载了所有历史记录，但仅用于财务休息是增量加载。正如你所建议的，我将发布长时间运行的脚本。
标签： etl rdbms data-warehouse