【问题标题】:How to migrate millions of rows of data from SQL Server to any client or cloud?如何将数百万行数据从 SQL Server 迁移到任何客户端或云?
【发布时间】:2022-02-08 16:36:45
【问题描述】:

我有将数据从 SQL Server 上传到雪花的代码。 步骤:

  1. 从 SQL 服务器加载数据并与数据一起创建 CSV 文件
  2. 将 CSV 上传到 Snowflake 暂存表,然后处理暂存数据并将数据推送到实际表。

这很好用。 现在我想处理数百万条记录。这样做的有效方法是什么? 我如何处理批次? 我正在使用 WEB API 2.0

谢谢

【问题讨论】:

  • 请更具体一些,这可能是您的问题被否决的原因。请包括您正在处理的数据的上下文、用例和安全样本,还包括您正在处理的版本,这将有助于社区为您提供答案。

标签: sql-server asp.net-web-api cloud snowflake-cloud-data-platform


【解决方案1】:
  1. 创建要上传的数据库的 csv 文件
  2. 将 csv 文件上传到 AWS(S3 存储桶)
  3. 将数据从 S3 存储桶上传到雪花 more details

【讨论】:

  • 我知道步骤,我已经在我的问题中提到过。我想知道发送数百万条记录的有效方法。我知道我们可以分批做到这一点。我只想知道它的实现。
  • @RahulMane 上面提到的方法是“有效和优化/超过数万亿行”,也就是其他人都在这样做。
猜你喜欢
  • 1970-01-01
  • 2019-08-25
  • 2021-08-21
  • 2018-11-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-12-31
  • 2012-05-14
相关资源
最近更新 更多