Perl DBI - 在两个 sql 服务器之间传输数据 - fetchall_arrayref

Question

我有 2 台服务器：dbh1 和 dbh2，我在其中查询 dbh1 并通过 fetchall_arrayref 方法提取数据。执行查询后，我想将 dbh1 的输出插入到服务器 dbh2 上的临时表中。

我能够同时建立对两台服务器的访问权限，并且能够从两台服务器中提取数据。 1.我从dbh1拉取数据：

while($row = shift(@$rowcache) || shift(@{$rowcache=$sth1->fetchall_arrayref(undef, $max_rows)})) {
        #call to sub insert2tempData
        &insert2tempData(values @{$row});
}

2。然后在 dbh2 上我有一个插入查询：

    INSERT INTO ##population (someid, Type, anotherid)
    VALUES ('123123', 'blah', '634234'); 

问题： 如何将 dbh1 中的 fetchall_arrayref 的批量结果插入服务器 dbh2 上的临时表中（不循环访问各个记录）？

好的 - 所以我能够解决这个问题并能够实现以下代码：

     my $max_rows = 38;
my $rowcache = [];
my $sum   = 0;

if($fldnames eq "ALL"){ $fldnames = join(',', @{ $sth1->{NAME} });}

my $ins = $dbh2->prepare("insert into $database2.dbo.$tblname2 ($fldnames) values $fldvalues");

my $fetch_tuple_sub = sub { shift(@$rowcache) || shift(@{$rowcache=$sth1->fetchall_arrayref(undef, $max_rows)}) };

my @tuple_status;
my $rc;

$rc = $ins->execute_for_fetch($fetch_tuple_sub, \@tuple_status);

my @errors = grep { ref $_ } @tuple_status;

传输有效，但仍然比我通过 SQL Server 导出/导入向导手动传输数据要慢。我注意到的问题是数据逐行流入目的地，我想知道是否可以增加批量传输大小。它下载数据的速度非常快，但是当我结合下载和上传时，速度会急剧下降，在服务器之间传输 5000 行表需要长达 10 分钟。

Answer 1

如果你说你的目标是什么（速度？）而不是问一个关于避免循环的具体问题会更好。

对于 Perl/DBI 方式：

请查看 DBI 的 execute_array 和 execute_for_fetch，但是由于您没有告诉我们您使用的是哪个 DBD，因此无法说更多。并非所有 DBD 都支持批量插入，当它们不支持时，DBI 会模拟它。 DBD::Oracle 可以，DBD::ODBC 可以（在最近的版本中，请参阅odbc_array_operations），但在后者默认情况下它是关闭的。

Answer 2

您没有提及您使用的是哪个版本的 SQL Server。首先，我会研究该版本的“BULK INSERT”支持。

您也没有提到涉及多少行。我会假设它们适合内存，否则批量插入将不起作用。

您可以将fetchall_arrayref 的输出转换为“BULK INSERT”操作所需的语法。