MySql 插入忽略性能

Question

我必须在 MySql 表中插入 90Mb 的数据，并且我正在使用 INSERT IGNORE 命令来避免重复键的异常。性能是每秒 8 条记录，但似乎很慢。我可以快点吗？

附言因为我从 sql 紧凑型数据库中读取数据，所以我正在为每条记录插入记录

using (SqlCeConnection sqlConnection = new SqlCeConnection(connectionstrCe))
            {
                sqlConnection.Open();
                SqlCeCommand cmdCe = sqlConnection.CreateCommand();
                {
                    {

                        mySQLConnection.Open();

                        foreach (KeyValuePair<string, List<string>> t in tablesCeNames) //reading the tables property from the dictionary - column names and datatypes
                        {

                            string tableData = t.Key; 
                            List<string> columnData = t.Value;
//get the values from the table I want to transfer the data
                                cmdText = "SELECT * FROM " + tableData;
//compose the mysql command
                                cmdCe.CommandText = cmdText;

                                SqlCeDataReader dataReader = cmdCe.ExecuteReader(); //read
//InsertTable is a method that get the datareader and convert all the data from this table in a list array with the values to insert
                                inputValues = InsertTables(dataReader);


                                MySql.Data.MySqlClient.MySqlTransaction transakcija;
                                transakcija = mySQLConnection.BeginTransaction();

                                worker.ReportProgress(4, inputValues.Count);

                                foreach (string val in inputValues)//foreach row of values of the data table
                                {
                                    cmdSqlText = "INSERT IGNORE INTO " + tableData + "("; //compose the command for sql

                                    foreach (string cName in columnData)  //forach column in a table
                                    {
                                        string[] data = cName.Split(' ');
                                        if (!data[0].ToString().Equals("Id"))
                                        {
                                            cmdSqlText += data[0].ToString() + ","; //write the column names of the values that will be inserted  
                                        }
                                    }
                                    cmdSqlText = cmdSqlText.TrimEnd(',');
                                    cmdSqlText += ") VALUES (";
//val contains the values of this current record that i want to insert
                                    cmdSqlText += val;  //final command with insert ignore and the values of one record
                                    if (!val.Equals(""))
                                    {
                                        try
                                        {
                                            new MySql.Data.MySqlClient.MySqlCommand(cmdSqlText, mySQLConnection, transakcija).ExecuteNonQuery(); //execute insert on sql database
                                            WriteToTxt("uspješno upisano u mysql" + t.Key);
                                        }
                                        catch (MySql.Data.MySqlClient.MySqlException sqlEx)
                                        {
                                        }
                                    }
                                }

                                if (TablicaSveOK)
                                {
                                    transakcija.Commit();

                                }
                                else
                                {
                                    transakcija.Rollback();
                                }
                            }
                        }

                        if (mySQLConnection.State != System.Data.ConnectionState.Closed)
                        {
                            mySQLConnection.Close();
                        }
                    }

Answer 1

从 Sql 获取数据到文件并使用 LOAD DATA 怎么样？

http://dev.mysql.com/doc/refman/5.0/es/load-data.html

Answer 2

而不是发送多个调用，您可以发送一个调用来插入所有记录。像这样插入

insert into your table(col1, col2)
SELECT 'Name1', 'Location1' 
UNION ALL
SELECT 'Name2', 'Location2'
UNION ALL
SELECT 'Name3', 'Location3'

其中一部分可能是您的代码是瓶颈而不是插入语句。所以我建议你先检查问题出在哪里，然后再寻找解决方案。

Answer 3

最新的 MySql.Connector 有一个名为 MySqlBulkLoader 的类，可用于以更面向 NET 的方式调用 MySql 的 LOAD DATA 语法。该类需要一个逗号分隔值文件来加载，而且速度非常快。

因此，您的工作是读取数据表中的所有 Sql Compact 记录，然后使用流写入器或专门的 CSV 写入器将所有内容写入文件中。

然后将数据加载到 MySql 表中的代码就像这样简单

string connStr = "server=localhost;user=root;database=........";
using(MySqlConnection conn = new MySqlConnection(connStr))
{
     MySqlBulkLoader bl = new MySqlBulkLoader(conn);
     bl.TableName = "yourdestinationtable";
     bl.FieldTerminator = "\t";
     bl.LineTerminator = "\n";
     bl.FileName = "path_to_your_comma_separated_value_file";
     try
     {
        conn.Open();
        int count = bl.Load();
     }
}