为什么记录添加如此缓慢

Question

我正在从 SQL Server 2005 读取记录，并使用以下代码将返回的记录集写入 SQLite。

我的编译器是 Lazarus 1.0.12，qt1 是“sqlquery”，“qrystkmas”是 Zeos dbo 的 Ztable...

但是操作很慢。测试时间是

开始时间：15:47:11 结束时间：16:19:04 记录数：19500

因此，在 SQL Server 和 SQL Server CE 对中，Delphi 项目不到 2-3 分钟。

我怎样才能加快这个过程？

代码：

  Label2.Caption:=TimeToStr(Time);
  if Dm.Qt1.Active then Dm.Qt1.Close;
    Dm.Qt1.SQL.Clear;
    Dm.Qt1.SQL.Add('  select ');
    Dm.Qt1.SQL.Add('   st.sto_kod, st.sto_isim,st.sto_birim1_ad,  ');
    Dm.Qt1.SQL.Add('   st.sto_toptan_vergi,st.sto_perakende_vergi,');
    Dm.Qt1.SQL.Add('   st.sto_max_stok,st.sto_min_stok, ');
    Dm.Qt1.SQL.Add('   sba.bar_kodu,   ');
    Dm.Qt1.SQL.Add('   stf.sfiyat_fiyati  ');
    Dm.Qt1.SQL.Add('  from MikroDB_V14_DEKOR2011.dbo.STOKLAR st ');
    Dm.Qt1.SQL.Add('  left JOIN MikroDB_V14_DEKOR2011.dbo.BARKOD_TANIMLARI sba on sba.bar_stokkodu=st.sto_kod ');
    Dm.Qt1.SQL.Add('  left JOIN MikroDB_V14_DEKOR2011.dbo.STOK_SATIS_FIYAT_LISTELERI stf on stf.sfiyat_stokkod=st.sto_kod  ');
    Dm.Qt1.SQL.Add('  where LEFT(st.sto_kod,1)=''5'' --and stf.sfiyat_listesirano=1 ');
    Dm.Qt1.Open;
    Dm.qryStkMas.Open;
    Dm.qrystkmas.First;

    While not Dm.Qt1.EOF do
    begin
      Dm.qryStkMas.Append;
      Dm.qryStkMas.FieldByName('StkKod').AsString :=Dm.Qt1.FieldByName('sto_kod').AsString;
      Dm.qryStkMas.FieldByName('StkAd').AsString  :=Dm.Qt1.FieldByName('sto_isim').AsString;
      Dm.qryStkMas.FieldByName('StkBrm').AsString :=Dm.Qt1.FieldByName('sto_birim1_ad').AsString;
      Dm.qryStkMas.FieldByName('StkBar').AsString :=Dm.Qt1.FieldByName('bar_kodu').AsString;
      Dm.qryStkMas.FieldByName('StkKdv1').AsFloat :=Dm.Qt1.FieldByName('sto_toptan_vergi').AsFloat;
      Dm.qryStkMas.FieldByName('StkKdv2').AsFloat :=Dm.Qt1.FieldByName('sto_perakende_vergi').AsFloat;
      Dm.qryStkMas.FieldByName('StkGir').AsFloat  :=0;
      Dm.qryStkMas.FieldByName('StkCik').AsFloat  :=0;
      Dm.qryStkMas.FieldByName('YeniStk').AsBoolean :=False;
      Dm.qryStkMas.FieldByName('MinStk').AsFloat  :=Dm.Qt1.FieldByName('sto_min_stok').AsFloat;
      Dm.qryStkMas.FieldByName('MaxStk').AsFloat  :=Dm.Qt1.FieldByName('sto_max_stok').AsFloat;
      Dm.qryStkMas.FieldByName('StkGrp1').AsString:='';
      Dm.qryStkMas.FieldByName('StkGrp2').AsString:='';
      Dm.qryStkMas.FieldByName('StkGrp3').AsString:='';
      Dm.qryStkMas.FieldByName('StkGrp4').AsString:='';
      Dm.qryStkMas.FieldByName('StkFytno').AsInteger:=1;
      Label1.Caption:=Dm.Qt1.FieldByName('sto_isim').AsString;
      Dm.qryStkMas.Post;
      Dm.Qt1.Next;
    end;
    Dm.qryStkMas.Close;
   label3.Caption:=timetostr(time);

Answer 1

加快速度的第一步是诊断。

测量
您可以通过拆分选择和插入来衡量，但您也可以从 SQL 本身中获得一些诊断。

如果您在 SQLite 中使用关键字 EXPLAIN 作为查询前缀，它将告诉您使用了哪些索引以及如何在内部处理该语句，请参见此处：http://www.sqlite.org/eqp.html
这是优化的宝贵信息。
在 MS SQL Server 中，您进入 gui，输入查询并单击估计的查询计划按钮，请参阅：what is the equivalent of EXPLAIN form SQLite in SQL Server?。

什么最花时间？是select 慢还是insert。

选择
通常通过在那些被评估的字段上放置索引来加速选择。
在您的情况下，连接条件中涉及的字段。
where 子句中的字段使用函数，您不能在 MSSQL 中的函数上放置索引（您可以在 PostgreSQL 和 Oracle 中）。

插入
禁用索引可以加快插入速度。
一个常见的技巧是在插入批处理之前禁用所有索引，并在插入批处理完成后重新启用它们。
这通常更有效，因为它可以更快地（每个项目）一次性对整体进行排序，以便在每个单独的插入之后继续使用。

您还可以禁用交易保护。
这将损坏您的数据以防万一或电源/磁盘等故障，因此请考虑警告自己，请参阅此处：Improve large data import performance into SQLite with C#

代码注释
您使用 SQL 选择语句选择数据，但是您使用数据集 append 和 fieldbyname() 方法插入。众所周知，FieldByName 的速度很慢，因为它每次都会进行名称查找。
FieldByName 永远不应在循环中使用
改为构造insert SQL 语句。
请记住，您可以使用参数，甚至可以在其中硬粘贴值。
做一些实验，看看哪个更快。

关于如何通过消除FieldByName: http://delphi.about.com/od/database/ss/faster-fieldbyname-delphi-database.htm 来加快数据库访问速度，About.com 有一篇很好的文章

Answer 2

您是否尝试将插入包装在事务中？您需要在您的 While... 之前开始一个事务，并在 ...End 之后提交它。试试吧，它可能会有所帮助。

编辑：如果您得到改进，那将是因为您与 SQLite 的数据库连接是在“自动提交”模式下设置的，其中每个操作（例如您的 .Append）都是与所有其他操作独立完成的，而 SQLite足够聪明，可以确保数据库的 ACID 属性。这意味着对于您进行的每次写入操作，数据库都会对您的硬盘进行一次或多次写入，这很慢。通过显式创建事务（关闭自动提交...），您可以将写入操作分组到一个事务中，当您显式提交事务时，数据库可以向硬盘发出更少的写入。