无需 BULK INSERT 或 OPENROWSET 即可更快地上传数据

Question

我正在使用以下 sn-p 将数据从 CSV 上传到位于 Amazon EC2 上的 SQL Server 实例中的表中>。根据我的阅读，Amazon EC2 似乎不支持BULK INSERT 操作或OPENROWSET，因此上传速度明显不足。

我的问题，有没有比这更快的上传方式？

with open(file_path, 'r') as f:
            reader = csv.reader(f)
            columns = next(reader)
            query = 'insert into myTable({0}) values ({1})'
            query = query.format(','.join(columns), ','.join('?' * len(columns)))
            cursor = connection.cursor()
            for data in reader:
                cursor.execute(query, data)
            cursor.commit()
        cursor.close()
        connection.close()

Answer 1

当然。您正在分别添加每一行。在一次插入中提供多行以显着提高速度。我确信插入的大小是有限制的……一次大约 100 或 1000 行应该是一个不错的起点，因为它们不是异常大的行。

为此，您需要将值列表累积到一个数组中，然后在数组达到大小限制时使用插入清除数据。

确保在读取所有错误后再次刷新，因为 csv 可能没有多少行可以被您选择的大小等分。