使用 python 更新 csv 文件

Question

我必须使用 CSV 文件更新数据库。考虑数据库表如下所示：

CSV 文件数据如下所示：

您可以看到 CSV 文件数据修改了一些数据并添加了一些新记录，我应该做的是仅更新已修改的数据或添加的一些新记录。

在 Table2 中，col2 的第一条记录被修改。我只需要更新 col2 的第一条记录（即 AA），而不是 col2 的全部记录。

我可以通过硬编码来做到这一点，但我不想通过硬编码来做到这一点，因为我需要使用 2000 个表来做到这一点。

谁能建议我实现目标的步骤。

这是我的代码 sn-p..

df = pd.read_csv('F:\\filename.csv', sep=",", header=0, dtype=str)

sql_query2 = engine.execute('''
                               SELECT
                               *
                               FROM ttcmcs023111temp
                               ''')

df2 = pd.DataFrame(sql_query2)
df.update(df2)

Answer 1

由于我没有与您类似的数据，因此我使用了自己的数据库。 我的书籍表的架构如下：

+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | NO   | PRI | NULL    |       |
| name   | varchar(30) | NO   |     | NULL    |       |
| author | char(30)    | NO   |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+

表格如下所示：

+----+--------------------+------------------+
| id | name               | author           |
+----+--------------------+------------------+
|  1 | Origin             | Dan Brown        |
|  2 | River God          | Wilbur Smith     |
|  3 | Chromosome 6       | Robin Cook       |
|  4 | Where Eagles Dare  | Alistair Maclean |
|  5 | The Seventh Scroll | Dan Brown        |  ### Added wrong entry to prove 
+----+--------------------+------------------+  ### my point  

所以，我的方法是使用 python 从 CSV 创建一个与 books 表具有相同架构的新临时表。 我使用的代码如下：

sql_query = sqlalchemy.text("CREATE TABLE temp (id int primary key, name varchar(30) not null, author varchar(30) not null)")
result = db_connection.execute(sql_query)
csv_df.to_sql('temp', con = db_connection, index = False, if_exists = 'append')

这样创建了一个表：

+----+--------------------+------------------+
| id | name               | author           |
+----+--------------------+------------------+
|  1 | Origin             | Dan Brown        |
|  2 | River God          | Wilbur Smith     |
|  3 | Chromosome 6       | Robin Cook       |
|  4 | Where Eagles Dare  | Alistair Maclean |
|  5 | The Seventh Scroll | Wilbur Smith     |
+----+--------------------+------------------+

现在，您只需在 MySQL 中使用 update 使用 INNER JOIN 来更新您想要在原始表中更新的值。 （在我的例子中，'书'）。

你可以这样做：

statement = '''update books b
inner join temp t
on t.id = b.id
set b.name = t.name,
b.author = t.author;
'''
db_connection.execute(statement)

此查询将从我使用 CSV 创建的表 temp 中更新表 books 中的值。

您可以在更新值后销毁temp 表。