在附加到数据库之前循环遍历数据框并检查行

Question

问题如何将我的数据框附加到数据库，以便它检查 stock_ticker 是否存在，仅附加 stock_ticker 不存在的行？

这是我做的过程

1. 将 CSV 文件导入 pandas 数据框
2. 将列名指定为与数据库中的相同
3. 使用以下代码将数据帧发送到数据库，但获取

sqlite3.IntegrityError: UNIQUE constraint failed: stocks.stock_ticker

conn = sqlite3.connect('stockmarket.db')
c = conn.cursor()

df.to_sql(name='stocks', con=conn, if_exists='append', index=False)

conn.commit()

我查看了其他完整性错误案例，但似乎找不到适用于附加数据帧的案例？我找到并尝试了这个，但它所做的只是不附加任何内容。

try:
    conn = sqlite3.connect('stockmarket.db')
    c = conn.cursor()
    df.to_sql(name='stocks', con=conn, if_exists='append', index=False)
    conn.commit()
except sqlite3.IntegrityError:
    print("Already in database")

我不确定我是否正确理解了迭代的东西

How to iterate over rows in a DataFrame in Pandas

所以我尝试了这个，但它只是在数据库中为每个人打印出来。更难的是，有 4 个新的股票代码。

for index, row in df.iterrows():
    try:
        conn = sqlite3.connect('stockmarket.db')
        c = conn.cursor()
        df.to_sql(name='stocks', con=conn, if_exists='append', index=False)
        conn.commit()
    except sqlite3.IntegrityError:
        print("Already in database")

数据库看起来像这样

任何见解都非常感谢:)

Answer 1

看起来发生这种情况是因为 Pandas 不允许声明正确的 ON CONFLICT 策略，以防您尝试将数据附加到具有相同（唯一）主键或违反其他一些 UNIQUEness 约束的表中。 if_exists 仅指整个表本身，而不是每一行。

我想你已经想出了一个很好的答案，也许稍微修改一下它就会对你有用：

# After connecting
for i in range(len(df)):
    try:
        df[df.index == i].to_sql(name='stocks', con=conn, if_exists='append', index=False)
        conn.commit()
    except sqlite3.IntegrityError:
        pass

现在，如果您想在 Pandas 数据中出现新值时实际替换该值，并且假设您想替换数据库中的旧值，这可能是一个问题。在这种情况下，您可能希望将原始 SQL 命令用作字符串，并迭代地传递 Pandas 值。例如：

insert_statement = """
INSERT INTO stocks (stock_id,
                    stock_ticker,
                    {other columns})
VALUES (%s, %s, {as many %s as columns})
ON CONFLICT (stock_id) DO UPDATE
    SET {Define which values you will update on conflict}"""

然后你可以运行

for i in range(len(df)):
    values = tuple(df.iloc[i])
    cursor.execute(insert_statement, values)