【发布时间】:2014-04-09 21:59:33
【问题描述】:
我正在尝试找出 teradata 上传的最佳批量大小。
我阅读了一些关于最佳批量大小的文章。其中One 声明To get top-notch performance, you need to use a batch size of roughly 50,000 to 100,000 行
但是,我看到有人说他们的批次包含多达一百万行。
列数可能不同,它可能是一个非常重的 100 行和 1000 列数据集。
那么,就兆字节而言,有没有最佳的批量大小?多少兆字节是最佳的
到目前为止,在我的应用程序中,我使用 200 兆字节的数据集作为最大批次,无论它包含多少行。但我不确定它是否是最优的。
【问题讨论】:
-
不知道 teradata 是什么,但如果它涉及通过网络发送数据,那么批处理大小应该与套接字传输缓冲区大小相关
-
取决于协议。取决于硬件。取决于上传是否是瓶颈,而不是两端的软件。取决于您是在任一端运行单线程还是多线程。取决于...基本上,您有一个严重未明确的问题;正如所提出的,没有单一的答案。