在 Python 中使用 SQLite 将 .csv 文件导入 SQL 数据库

Question

我有 2 个 .txt 文件，我使用 https://convertio.co/csv-xlsx/ 将它们转换为 .csv 文件。现在，我想在 Python 中使用 SQLite 将这两个 .csv 文件导入两个数据库（UI 是 Jupyter Notebook）。这两个 .csv 文件被标记为 person.csv 和 person_votes.csv。所以，我按照这里给出的代码 (Importing a CSV file into a sqlite3 database table using Python) 做到了：

import sqlite3, csv

con = sqlite3.connect(":memory:")
cur = con.cursor()
cur.execute("CREATE TABLE person (personid STR,age STR,sex STR,primary_voting_address_id STR,state_code STR,state_fips STR,county_name STR,county_fips STR,city STR,zipcode STR, zip4 STR,  PRIMARY KEY(personid))") 

with open('person.csv','r') as person_table: # `with` statement available in 2.5+
    # csv.DictReader uses first line in file for column headings by default
    dr = csv.DictReader(person_table) # comma is default delimiter
#personid   age sex primary_voting_address_id   state_code  state_fips  county_name county_fips city    zipcode zip4
    to_db = [(i['personid'], i['age'], i['sex'], i['primary_voting_address_id'], i['state_code'], i['state_flips'], i['county_name'], i['county_fips'], i['city'], i['zipcode'], i['zip4']) for i in dr]

cur.executemany("INSERT INTO t (age, sex) VALUES (?, ?);", to_db)
con.commit()

我不明白为什么当我尝试执行上面的代码时，我不断收到错误消息：“KeyError: 'personid'”。有人可以帮忙吗？

另外，如果我在同一个 Python 文件中为文件 person_votes.csv 创建另一个名为 to_db2 的数据库表，以下查询是否会为我提供所有 两个表格之间的共同元素：

select ID from to_db, to_db2 WHERE to_db.ID ==  to_db2

上面两个 .csv 文件的链接在这里：https://drive.google.com/open?id=0B-cyvC6eCsyCQThUeEtGcWdBbXc。

Answer 1

这适用于我在 Windows 10 上，但也应该在 Linux/Unix 下工作。有几个问题：

1. person.csv 的最后两行格式不正确，但这并不妨碍程序正常工作。您可以使用文本编辑器修复此问题。
2. person.csv 使用制表符而不是逗号作为分隔符。
3. 以“to_db ="
开头的行中有错字（拼写）
4. 要导入的列数不匹配（2 个而不是 11 个）
5. executemany 上的表名错误。

此外，我在文件中而不是在内存中创建数据库。它足够小，性能不应该成为问题，并且您所做的任何更改都将被保存。

这是我更正的文件（你可以自己做另一张表）：

import sqlite3, csv

# con = sqlite3.connect(":memory:")
con = sqlite3.connect("person.db")
cur = con.cursor()
cur.execute("CREATE TABLE person (personid STR,age STR,sex STR,primary_voting_address_id STR,state_code STR,state_fips STR,county_name STR,county_fips STR,city STR,zipcode STR, zip4 STR,  PRIMARY KEY(personid))") 

with open('person.csv','r') as person_table:
    dr = csv.DictReader(person_table, delimiter='\t') # comma is default delimiter
    to_db = [(i['personid'], i['age'], i['sex'], i['primary_voting_address_id'], i['state_code'], i['state_fips'], i['county_name'], i['county_fips'], i['city'], i['zipcode'], i['zip4']) for i in dr]

cur.executemany("INSERT INTO person VALUES (?,?,?,?,?,?,?,?,?,?,?);", to_db)
con.commit()

Answer 2

您的INSERT INTO ... 语句中似乎缺少一些列名。

将主键也保留为NULL 可能不是很好的做法。