c#/sqlite/内存不足/事务/csv

Question

我该如何解决这个问题？ 流程如下。

1. 导入 csv 文件
2. 向 sqlite 插入数据（100 万行）

异常是“System.Data.SQLite.OutOfMemoryException” 我使用了“beginTransaction”和“Commit” CSV文件内存为118MB 我什么都试过了。但我不能解决这个问题

这是我的源代码。 请帮忙。

OpenFileDialog file = new OpenFileDialog();
file.Filter = "(*.csv)|*.csv";
file.ShowDialog();

string filename = file.FileName;
string fileNameNoEx = Path.GetFileNameWithoutExtension(filename);

for (int j = 0; j < ListBox.Items.Count; j++)
{
    if (fileNameNoEx.Equals(ListBox.Items[j]))
    {
        return;
    }
}

DirectoryInfo di = new DirectoryInfo("C:/sqlite");
FileInfo fi = new FileInfo("C:/sqlite/SQLiteEx.db");
if (!di.Exists)
{
    di.Create();
}
if (!fi.Exists)
{
    SQLiteConnection.CreateFile("C:/sqlite/SQLiteEx.db");
}

SQLiteConnection conn = new SQLiteConnection("data source = C:/sqlite/SQLiteEx.db;PRAGMA synchronous = OFF; PRAGMA journal_mode = WAL;");
conn.Open();
string sql = "";

StreamReader sr = new StreamReader(filename);
int i = 0;

using (SQLiteTransaction tr = conn.BeginTransaction())
{
    while (!sr.EndOfStream)
    {
        string line = sr.ReadLine();
        string[] cols = line.Split(',');
        string fieldName = "";
        string colData = "";

        if (i == 0)
        {
            for (int j = 0; j < cols.Length; j++)
            {
                if (j == 0)
                {
                    fieldName = "'" + cols[0] + "' TEXT";
                }
                else
                {
                    fieldName = fieldName + ",'" + cols[j] + "' TEXT";
                }
            }
            sql = "CREATE TABLE IF NOT EXISTS " + fileNameNoEx + "(" + fieldName + ");";
            SQLiteCommand command = new SQLiteCommand(sql, conn);
            int result = command.ExecuteNonQuery();
        }
        else
        {
            for (int j = 0; j < cols.Length; j++)
            {
                if (j == 0)
                {
                    colData = cols[0];
                }
                else
                {
                    colData = colData + "," + cols[j];
                }
            }

            sql = "INSERT INTO " + fileNameNoEx + " VALUES (" + colData + ");";
            SQLiteCommand command = new SQLiteCommand(sql, conn);
            int result = command.ExecuteNonQuery();
        }
        i++;
    }
    tr.Commit();
}
sr.Close();
conn.Close();

Answer 1

我看到许多字符串连接，您的代码生成了 100 万个 SQLLiteCommands。

您是否尝试过使用参数创建单个SQLLiteCommand？您可以更改循环中的参数值（也可以更好地防止 SQL 注入 - 以防受到攻击或 CSV 文件中的 specials 字符）。

例如：

using (SQLiteCommand cmd = cnn.CreateCommand())
{
    cmd.CommandText = @"INSERT INTO [myTable] ([Id], [name]) VALUES (@Id, @Name)";

    cmd.Parameters.Add(new SQLiteParameter("@Id"));
    cmd.Parameters.Add(new SQLiteParameter("@name"));

    foreach(var row in csv)
    {
       cmd.Parameters["@id"].Value = row.id;
       cmd.Parameters["@name"].Value = row.name;

       cmd.ExecuteNonQuery();
    }
}