如何生成各种数据库转储

Question

我有一个 CSV 文件，想为 sqlite、mysql、postgres、oracle 和 mssql 生成数据转储。

是否有通用的 API（最好是基于 Python）来执行此操作？

我可以使用 ORM 将数据插入每个数据库，然后导出转储，但这需要安装每个数据库。这似乎也是一种资源浪费 - 这些 CSV 文件是BIG。

由于每个数据库的差异，我对尝试自己编写 SQL 持谨慎态度。理想情况下，有人已经完成了这项艰苦的工作，但我还没有找到。

Answer 1

你可以这样做 - Create SQL tables from CSV files

或Generate Insert Statements from CSV file

或试试这个Generate .sql from .csv python

当然，您可能需要调整上述脚本以满足您的需求。

Answer 2

我不是数据库向导，但是 Python 中的 AFAIK 没有一个通用的 API 可以开箱即用地满足您的要求。 PEP 249 定义了一个 API，该 API 应该由访问 DB 的模块使用，并且 AFAIK 至少被 MySQL 和 Postgre python 模块（here 和 here）使用，这可能是一个起点。

我会尝试自己走的路——然而——将是另一条路：

1. 将 CVS 导入 MySQL（这只是因为 MySQL 是我最了解的，并且网上有大量资料，例如 this very easy recipe，但您可以从另一个数据库）。
2. 生成 MySQL 转储。
3. 处理 MySQL 转储文件以对其进行修改以满足 SQLite（和其他）语法。

处理转储文件的脚本可能非常紧凑，但如果您使用正则表达式解析行，它们可能会有些棘手。这是一个示例脚本 MySQL → SQLite，我只是从 this page 粘贴的：

#!/bin/sh 
mysqldump --compact --compatible=ansi --default-character-set=binary mydbname | 
grep -v ' KEY "' | 
grep -v ' UNIQUE KEY "' | 
perl -e 'local $/;$_=<>;s/,\n\)/\n\)/gs;print "begin;\n";print;print "commit;\n"' | 
perl -pe ' 
if (/^(INSERT.+?)\(/) { 
$a=$1; 
s/\\'\''/'\'\''/g; 
s/\\n/\n/g; 
s/\),\(/\);\n$a\(/g; 
} 
' | 
sqlite3 output.db

您可以在 python 中编写脚本（在这种情况下，您应该查看re.compile 以了解性能）。

我选择的理由是：

1. mysql 为我完成了繁重的 [导入和数据一致性检查 + 生成起始 SQL 文件]
2. 我只需要安装一个数据库。
3. 我可以完全控制正在发生的事情以及微调过程的可能性。
4. 我可以以这样一种方式构建我的脚本，以便将它扩展到其他数据库非常容易（基本上我会像一个解析器那样构建它，它可以识别单个字段 + 一组语法 - 每个数据库一个语法 - 我可以通过命令行选项选择）
5. 与单一数据库导入/导出库相比，关于 SQL 风格之间差异的文档要多得多。

编辑：基于模板的方法

如果出于某种原因您对自己编写 SQL 没有足够的信心，您可以使用一种基于模板的脚本。以下是我的做法：

1. 在您计划使用的所有 4 个 DB 中导入并生成表的转储。
2. 为每个 DB 保存转储的初始部分（包括架构声明和所有其余部分）和单个插入指令。
3. 编写一个 python 脚本 - 对于每个 DB 导出 - 将输出转储的“标题”以及您将以编程方式替换 CVS 文件中每一行的值的相同“保存行”。

这种方法的明显缺点是您的“模板”仅适用于一个表。最大的优点是编写这样的脚本会非常简单快捷。

至少有点！

Answer 3

SQLAlchemy 是一个数据库库，它（以及ORM functionality）在您提到的所有不同数据库（以及更多）中的dialects 中支持SQL generation。

在正常使用中，可以创建SQL表达式/指令（使用schema.Table object），创建database engine，然后将指令绑定到引擎，生成SQL。

但是，引擎并不是绝对必要的；每个方言都有一个compiler，可以在没有连接的情况下生成SQL；唯一需要注意的是，您需要阻止它像默认情况下那样生成绑定参数：

from sqlalchemy.sql import expression, compiler
from sqlalchemy import schema, types
import csv

# example for mssql
from sqlalchemy.dialects.mssql import base
dialect = base.dialect()
compiler_cls = dialect.statement_compiler
class NonBindingSQLCompiler(compiler_cls):
    def _create_crud_bind_param(self, col, value, required=False):
        # Don't do what we're called; return a literal value rather than binding
        return self.render_literal_value(value, col.type)

recipe_table = schema.Table("recipe", schema.MetaData(), schema.Column("name", types.String(50), primary_key=True), schema.Column("culture", types.String(50)))

for row in [{"name": "fudge", "culture": "america"}]: # csv.DictReader(open("x.csv", "r")):
    insert = expression.insert(recipe_table, row, inline=True)
    c = NonBindingSQLCompiler(dialect, insert)
    c.compile()
    sql = str(c)
    print sql

上面的例子确实有效；它假设您知道目标数据库表模式；它应该很容易适应从 CSV 导入并为多种目标数据库方言生成。