如何从 Azure SQL 服务器批量读取和批量插入到 Camel 中的 Cassandra

Question

我想从 Azure SQL DB 表中读取 5+ 百万个事件并对 Cassandra 执行 BULK INSERT。 该表有 2 列。 我看到可用于从 Azure SQL DB 读取的 SQL 组件。 https://camel.apache.org/components/3.7.x/sql-component.html

问题：从 Azure SQL DB 消费

1. 考虑到 5M 条记录，是否有更好的方法来读取所有行并存储在地图中？
2. 是否可以批量读取消息？

有一个可用于 Cassandra 的 cql 组件 https://camel.apache.org/components/3.7.x/cql-component.html

问题：生产到 Cassandra

1. 我们可以分批插入吗？

我可以在这个用例中使用骆驼吗？

Answer 1

对于 Azure 数据库中的每个表，我们建议您将数据导出到 CSV 文件中。有很多工具和方法可以让你做到这一点。例如，看看Import and export data from Azure SQL Database。

将数据导出为 CSV 后，您可以使用 DataStax Bulk Loader 工具 (DSBulk) 将其批量加载到 Cassandra 表中。

以下是一些参考示例，可帮助您快速入门：

• 博客 - DSBulk Intro + Loading data
• 博客 - More DSBulk Loading examples
• 博客 - Counting records with DSBulk
• 文档 - Loading data examples
• 已回答问题 - DS Community

DSBulk 是开源的，因此可以免费使用。干杯！