使用 OleDB/Jet 导入 DataTable

Question

我用 Oledb 写了一个简短的函数，它应该读取大量数据，但还有几个我无法解决的问题，它是关于在 sql 数据库中读取和插入分号分隔的数据

Private Function GetCSVFile(ByVal file As String) As DataTable

        Try
            Dim dt As New DataTable
            Dim ConStr As String = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & TextBox1.Text & ";Extended Properties=""TEXT;HDR=Yes;FMT=Delimited"""
            Dim conn As New OleDb.OleDbConnection(ConStr)

            Dim da As New OleDb.OleDbDataAdapter("Select * from " & _table & ".csv", conn)
            da.Fill(dt)
            Application.DoEvents()
            getData = dt
        Catch ex As OleDbException
            MessageBox.Show(ex.Message)
        Catch ex As Exception
            MessageBox.Show(ex.Message)
        End Try
        Return getData
    End Function

1。它读取整个文件，但我需要告诉函数它应该只读取 50.000 行并将它们传递给另一个函数 step for step，它应该在 for 循环中更好地工作，因为 jet oledb 不会读取大于 1 GB 的文件

1. 我需要替换字符

value(i) = value(i).Replace("\t", Constants.vbTab).Replace("\n", Constants.vbLf).Replace("\r", Constants.vbCr).Replace("\ “““， ““““）。代替（”\\”， ”\”）

但它通常只适用于字符串

1. 我需要识别整数、双精度、字符串等数据类型。我的第一个想法是通过 sql 查询并通过 tryparse 检查表

   Dim dtInserts As DataTable = db.GetDataTable("SELECT TOP 0 * FROM " & _table) 将 ListOfTypes 暗淡为新列表（System.Type） 对于 dtInserts.Columns 中的每个 _col 作为 DataColumn 暗淡 _type 作为 System.Type = _col.DataType ListOfTypes.Add(_type) 下一个 暗淡 _wert1 As String = "11.11.2011" Dim _type1 As System.Type = ListOfTypes.Item(1) If DateTime.TryParse(_wert1, New Date) Then 万一

   但仍然不确定它是否会起作用

2. 所有已读取的数据都应编码在 1252 代码页中。 这个真的不行

Dim ConStr As String = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & TextBox1.Text & ";Extended Properties=""TEXT;HDR=Yes;FMT=Delimited;CODEPAGE=1252"""

有人知道可以做什么吗？

Answer 1

CSVHelper 可以做大部分你想做的事。 FileHelpers 也可能有用，只是我没有使用它。我不推荐 VB 的 TextFieldParser，因为它返回的是字符串数组而不是类型数据。

OleDB 提供了一种很好的导入方式，但保存到数据库中却是一个小挑战。所有加载的行都将有一个RowState 或Unchanged。将其更改为 Added 的唯一方法是将行复制到新表中：

For Each dr As DataRow In dtCSV.Rows
    dtDest.Rows.Add(dr.ItemArray)
Next

它会起作用，但结果是，您将有 2 个表和所有这些行一次加载。事实证明，使用 CSVHelper 和简单的 INSERT 查询是最经济的 - 因为记录是从 IEnumerable<T> 获取的，一次只会加载 1 个源记录。它也比复制行快一点：在 500k 行上快大约 20%。

注意：除了分号分隔的数据外，我们不知道数据是什么样的......而且显然有很多。

Using sr As New StreamReader(CSVFilePath, False),
     csv As New CsvReader(sr)

    ' some CSVHelper config options
    csv.Configuration.HasHeaderRecord = True
    csv.Configuration.TrimFields = True
    csv.Configuration.TrimHeaders = True
    csv.Configuration.Delimiter = ";"
    csv.Configuration.IsHeaderCaseSensitive = False
    csv.Configuration.RegisterClassMap(Of RandItem.RandItemMap)()

    ' get the file into IEnumerable collection
    Dim csvData = csv.GetRecords(Of OleImportItem)()

    Dim SQL = <sql>
              INSERT INTO RandomData 
                     (Foo, Bar, Cat, Dog...)
              VALUES 
                    (@p1, @p2, @p3, @p4...)
            </sql>.Value

    Using dbcon As New OleDbConnection(ACEConnStr)
        Using cmd As New OleDbCommand(SQL, dbcon)
            dbcon.Open()

            ' create the parameters
            cmd.Parameters.Add("@p1", OleDbType.VarChar)
            cmd.Parameters.Add("@p2", OleDbType.VarChar)
            cmd.Parameters.Add("@p3", OleDbType.Integer)
            cmd.Parameters.Add("@p4", OleDbType.Integer)
            ...
            ' load one item at a time, to save it
            For Each item In csvData
                cmd.Parameters("@p1").Value = item.Foo
                cmd.Parameters("@p2").Value = item.Bar
                cmd.Parameters("@p3").Value = item.Cat
                cmd.Parameters("@p4").Value = item.Dog
                ...
                cmd.ExecuteNonQuery()
            Next
        End Using
    End Using
End Using

我不能给出一个完整的使用教程，但通常你创建一个类型（类），它定义了每一列的数据类型（这里，RandItem），RandItemMap 是另一个类，它指定文件中这些属性的顺序。这样做时，CSVHelper 知道每一列的数据类型，并会为您转换。

有几种使用方法，这种方法是从文件中一次读取一行并立即将该项目保存到数据库中：csvData = csv.GetRecords(Of OleImportItem)() 将csvData 初始化为IEnumberable(Of RandItem)，所以只有 在循环中一次加载一个项目，这使得它非常经济。

在循环中，代码从 csv 文件中获取输入的 item，然后将其映射到相应的参数并保存。这比将数据批量复制到DataTable并保存快20%左右；由于只加载了 1 个项目，因此占用的内存要少得多。

---

对于较小的 csv 文件，您可以使用 .ToArray() 或 ToList() 将文件加载到集合中。

注意导入/解析不带标题的文本文件与显示的略有不同，但同样简单。

听起来 CSVHelper 可能会消除您洗衣清单中的大多数问题。