在 Sqoop 中更改事务隔离级别设置行为

Question

我们目前正在尝试使用 Sqoop 将数据从 Hadoop 摄取到 Azure SQL 数据仓库，但出现与事务隔离级别相关的错误。发生的情况是 Sqoop 在尝试导入/导出时尝试将事务隔离级别设置为 READ COMMITTED，而 Azure SQL 数据仓库目前不支持此功能。我尝试使用 Sqoop 的 --relaxed-isolation 参数，但仍然没有效果。 作为解决方案，我正在考虑： 1. 更改 Sqoop 源代码以将 Sqoop 的行为更改为不设置事务级别 2. 寻找可能允许我以编程方式更改此 Sqoop 行为的 API（如果有）。

有人遇到过这种情况吗？寻找对提议的解决方案的建议以及如何实施这些建议。

Answer 1

这个问题刚刚在 Sqoop 中解决了：https://issues.apache.org/jira/browse/SQOOP-2349

否则，@wBob 关于使用 Polybase 的评论绝对是最佳实践：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-sql-data-warehouse-connector#use-polybase-to-load-data-into-azure-sql-data-warehouse