【问题标题】:What is the optimal batch size for teradata uploadteradata 上传的最佳批量大小是多少
【发布时间】:2014-04-09 21:59:33
【问题描述】:

我正在尝试找出 teradata 上传的最佳批量大小。

我阅读了一些关于最佳批量大小的文章。其中One 声明To get top-notch performance, you need to use a batch size of roughly 50,000 to 100,000 行

但是,我看到有人说他们的批次包含多达一百万行。


列数可能不同,它可能是一个非常重的 100 行和 1000 列数据集。

那么,就兆字节而言,有没有最佳的批量大小?多少兆字节是最佳的

到目前为止,在我的应用程序中,我使用 200 兆字节的数据集作为最大批次,无论它包含多少行。但我不确定它是否是最优的。

【问题讨论】:

  • 不知道 teradata 是什么,但如果它涉及通过网络发送数据,那么批处理大小应该与套接字传输缓冲区大小相关
  • 取决于协议。取决于硬件。取决于上传是否是瓶颈,而不是两端的软件。取决于您是在任一端运行单线程还是多线程。取决于...基本上,您有一个严重未明确的问题;正如所提出的,没有单一的答案。

标签: java teradata


【解决方案1】:

尽可能多地使用,实际上 50,000 到 100,000 应该是最小推荐的大小。

最大大小仅受 JVM 中可用堆大小的限制。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2023-03-31
    • 2012-07-18
    • 1970-01-01
    • 2014-01-19
    • 2010-11-12
    • 1970-01-01
    • 2021-05-07
    • 2019-02-05
    相关资源
    最近更新 更多