【问题标题】:How to increase performance for bulk INSERTs to ODBC linked tables in Access?如何在 Access 中提高批量插入到 ODBC 链接表的性能?
【发布时间】:2021-07-11 12:43:56
【问题描述】:

我有 CSV 和 TXT 文件要导入。我将文件导入 Access,然后将记录插入到链接的 Oracle 表中。每个文件大约有 300 万行,这个过程需要很长时间才能完成。

导入 Access 非常快,但插入链接的 Oracle 表需要很长时间。

这是我目前使用的流程:

DoCmd.TransferText acImportFixed, "BUSSEP2014 Link Specification", "tblTempSmartSSP", strFName, False
db.Execute "INSERT INTO METER_DATA ([MPO_REFERENCE]) SELECT MPO_REFERENCE FROM tblTempSmartSSP;"`

tblTempSmartSSP 是一个访问表,METER_DATA 是一个链接的 Oracle 表

我也尝试过直接导入链接表,但速度也很慢。

我怎样才能加快这个过程?

【问题讨论】:

  • Meter_Data 是 oracle 数据库表

标签: oracle ms-access odbc vba ms-access-2003


【解决方案1】:

在 Access 中处理对 ODBC 链接表的批量 INSERT 时,这种情况并不少见。在以下访问查询的情况下

INSERT INTO METER_DATA (MPO_REFERENCE) 
SELECT MPO_REFERENCE FROM tblTempSmartSSP

其中 [METER_DATA] 是一个 ODBC 链接表,而 [tblTempSmartSSP] 是一个本地(本机)Access 表,ODBC 在其聪明程度方面受到一定限制,因为它必须能够容纳范围广泛的目标数据库能力可能会有很大差异。不幸的是,这通常意味着尽管有单个 Access SQL 语句,但实际上发送到远程(链接)数据库的是一个单独的 INSERT(或等效)对于本地表中的每一行。可以理解,如果本地表包含大量行,这可能会非常慢。

选项 1:本地批量插入远程数据库

所有数据库都有一种或多种用于批量加载数据的本机机制:Microsoft SQL Server 有“bcp”和BULK INSERT,Oracle 有“SQL*Loader”。这些机制针对批量操作进行了优化,通常会提供显着的速度优势。事实上,如果需要将数据导入 Access 并在传输到远程数据库之前“按摩”,将修改后的数据转储回文本文件然后将其批量导入远程数据库仍然会更快。

选项 2:在 Access 中使用传递查询

如果批量导入机制不是一个可行的选项,那么另一种可能性是在 Access 中构建一个或多个传递查询,以使用一次可以插入多行的 INSERT 语句上传数据。

例如,如果远程数据库是 SQL Server(2008 或更高版本),那么我们可以像这样运行 Access pass-through (T-SQL) 查询

INSERT INTO METER_DATA (MPO_REFERENCE) VALUES (1), (2), (3)

用一个 INSERT 语句插入三行。

根据对另一个较早问题here 的回答,Oracle 的相应语法为

INSERT ALL
    INTO METER_DATA (MPO_REFERENCE) VALUES (1)
    INTO METER_DATA (MPO_REFERENCE) VALUES (2)
    INTO METER_DATA (MPO_REFERENCE) VALUES (3)
SELECT * FROM DUAL;

我使用具有 10,000 行的本机 [tblTempSmartSSP] 表在 SQL Server 上测试了这种方法(因为我无法访问 Oracle 数据库)。代码...

Sub LinkedTableTest()
    Dim cdb As DAO.Database
    Dim t0 As Single

    t0 = Timer
    Set cdb = CurrentDb
    cdb.Execute _
            "INSERT INTO METER_DATA (MPO_REFERENCE) " & _
            "SELECT MPO_REFERENCE FROM tblTempSmartSSP", _
            dbFailOnError
    Set cdb = Nothing
    Debug.Print "Elapsed time " & Format(Timer - t0, "0.0") & " seconds."
End Sub

... 在我的测试环境中执行大约需要 100 秒。

相比之下,以下代码构建了如上所述的多行 INSERT(使用 Microsoft 所谓的 Table Value Constructor)...

Sub PtqTest()
    Dim cdb As DAO.Database, rst As DAO.Recordset
    Dim t0 As Single, i As Long, valueList As String, separator As String

    t0 = Timer
    Set cdb = CurrentDb
    Set rst = cdb.OpenRecordset("SELECT MPO_REFERENCE FROM tblTempSmartSSP", dbOpenSnapshot)
    i = 0
    valueList = ""
    separator = ""
    Do Until rst.EOF
        i = i + 1
        valueList = valueList & separator & "(" & rst!MPO_REFERENCE & ")"
        If i = 1 Then
            separator = ","
        End If
        If i = 1000 Then
            SendInsert valueList
            i = 0
            valueList = ""
            separator = ""
        End If
        rst.MoveNext
    Loop
    If i > 0 Then
        SendInsert valueList
    End If
    rst.Close
    Set rst = Nothing
    Set cdb = Nothing
    Debug.Print "Elapsed time " & Format(Timer - t0, "0.0") & " seconds."
End Sub

Sub SendInsert(valueList As String)
    Dim cdb As DAO.Database, qdf As DAO.QueryDef

    Set cdb = CurrentDb
    Set qdf = cdb.CreateQueryDef("")
    qdf.Connect = cdb.TableDefs("METER_DATA").Connect
    qdf.ReturnsRecords = False
    qdf.sql = "INSERT INTO METER_DATA (MPO_REFERENCE) VALUES " & valueList
    qdf.Execute dbFailOnError
    Set qdf = Nothing
    Set cdb = Nothing
End Sub

... 需要 1 到 2 秒才能产生相同的结果。

(T-SQL 表值构造函数一次只能插入 1000 行,所以上面的代码比其他代码要复杂一些。)

【讨论】:

  • 非常令人印象深刻的戈德。作为一般说明,人们通常认为使用 sql insert 语句比 dao.recordsets 更快 - 它们不是,除非一个 SQL 语句可以替换 recorsetloop。然而,为每一行执行一个“完整”的 SQL 字符串往往比 recorset 慢得多。因此,我建议发帖者在链接表上尝试一个简单的记录集。
  • 嗨戈德汤普森,感谢您的代码。在 qdf.Execute dbFailOnError 运行此代码“ODBC-调用失败”时出现一个错误
  • @ravichaudhary 请询问new question 显示您的实际代码。
  • 注意:请注意,上面的示例不适用于 Oracle RDMS。 Oracle 将不允许插入语句为: INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);相反,您必须使用 INSERT ALL 语句,然后为 valueList 内容的每一行写入 INTO,即 INTO tbl_name (a,b,c) VALUES(1,2,3) 在第一行,然后 INTO tbl_name (a ,b,c) VALUES(4,5,6) 在第二行等等。请参阅techonthenet.com/oracle/questions/insert_rows.php 而这个细节破坏了我的解决方案的性能优势:(
  • @MOLAP 感谢您的评论。在答案中,我确实声明测试代码适用于(Microsoft)SQL Server。它还显示了 Oracle 的相应 INSERT ALL 语法,如果我可以使用 Oracle 服务器,我会针对 Oracle 服务器进行测试。 Oracle 语法肯定比 SQL Server 语法更冗长,这会在一定程度上降低任何性能优势,但是您是说对 Oracle 数据库使用这种类型的方法与带有 (Oracle) 链接的普通 INSERT INTO 相比没有显着优势桌子?
【解决方案2】:

您必须导入所有列吗?也许您想省略空列(如果有);以及对于商业目的并非绝对必要的列

【讨论】:

  • 我需要所有的列,最多只有 5 列。我也在尝试导入 6000 行之类的小数据,这也需要一个多小时
  • 刚想到这个;尝试使用以下命令运行您的操作查询。也许它很慢,因为您需要更多声明:
  • 您是否将文件导入到现有表中?而且,您是唯一的用户吗?创建表需要更多时间,如果您正在导入,您不希望数据库中的任何其他人。此外,在从要复制的列中执行任何其他操作之前,运行查询以删除空值。空值会减慢速度。只是一些想法
  • 我正在导入现有表并且我只使用 db,要删除 null 我已经在运行查询,当我尝试从 ms 访问表插入到 oracle 数据库表时需要时间,即Meter_data
【解决方案3】:

对不起,我忘了包含代码:

Option Compare Database
Option Explicit

Public Function Run_Safe_SQL(strSQL)
On Error GoTo Error_Handler
Dim db As DAO.Database

   Set db = CurrentDb()
   db.Execute strSQL, dbFailOnError
   DBEngine.Idle dbRefreshCache
'   DoEvents

Exit_Here:
   'Cleanup
   Set db = Nothing
   strSQL = ""
   Exit Function

Error_Handler:
    MsgBox Err.Description & " " & Err.Number

End Function

【讨论】:

    猜你喜欢
    • 2015-12-21
    • 2018-11-02
    • 1970-01-01
    • 2013-07-23
    • 2016-01-05
    • 2019-12-07
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多