Sqoop 导出中的 --direct 参数如何与 Vertica 配合使用？

Question

将大量数据从 HDFS 导出到 Vertica 时出现Too many ROS containers ... 错误。我知道vsql COPY 有一个direct 选项，它将绕过WOS 并将数据加载到ROS 容器中。我还注意到 Sqoop 导出中的 --direct，see this Sqoop User Guide。我只是想知道这两个“直接”是否具有相同的功能。

我曾尝试修改 Vertica 配置参数，例如 MoveOutInterval、MergeOutInterval... 但这并没有太大帮助。

那么有人知道direct Sqoop 导出模式是否有助于解决 ROS 容器问题。谢谢！

Answer 1

--direct 仅受特定数据库连接器支持。由于没有适用于 Vertica 的产品，因此您将使用通用 JDBC 产品。我真的怀疑使用--direct 有什么作用......但如果你真的想测试这个，你可以查看query_requests 中发送的语句。

select * 
from query_requests
where request_type = 'LOAD'
and start_timestamp > clock_timestamp() - interval '1 hour'

这将显示过去一小时内的所有加载语句。 sqoop 语句应转换为COPY。我真的希望无论如何！如果是一堆INSERT ... VALUES 语句，那么我强烈建议不要使用它。如果它没有生成COPY，那么您需要更改上面的查询以查找INSERT。

select * 
from query_requests
where request_type = 'QUERY'
and request ilike 'insert%'
and start_timestamp > clock_timestamp() - interval '1 hour'

让我知道你在这里找到了什么。如果它在做INSERT...VALUES，那么我可以告诉你如何修复它（但这有点工作）。