如何避免将数据从 Python pandas 数据框复制到 SQL 数据库 SQLite 时出现重复？

Question

我想将 pandas 数据框插入到我使用 SQL alchemy 预先创建的 sqltable 中。

但是，这样做我会得到重复，因为 SQLite 有一个索引列，当我从数据框中复制时，它会采用不同的索引，即使数据相同，它也可能会附加它。

关于我的状态的详细信息：

我的 pandas 数据框在插入时没有索引。 (index=False) 即使索引是主键，重要的是剩余数据。数据行不得重复，例如每列具有相同的内容组合。

My SQL alchemy 创建表：（来自 database.py）

class SQLTable(Base):
    __tablename__ = 'sqltable'
    __table_args__ = {'sqlite_autoincrement': True}
    index = Column(Integer, primary_key= True, nullable=False)
    A = Column(Integer, nullable=True)
    B  = Column(String, nullable=True)
    C  = Column(BigInteger, nullable=True)
    D  = Column(Integer, nullable=True)
    E  = Column(String, nullable=True)
    F  = Column(Float, nullable=True)

但是，如果索引以外的行不存在，我只希望插入到 sqltable 中。 我找到了python-pandas-tosql-only-insert-new-rows，但我不知道如何将其应用于我的数据。

 df.to_sql(
     name="sqltable", 
     con=engine,
     if_exists='replace',
     index=False,
     dtype={
         'index': sqlalchemy.types.INTEGER(),
         'A': sqlalchemy.types.INTEGER(),
         'B': sqlalchemy.types.VARCHAR(length=255),
         'C': sqlalchemy.types.BIGINT(),
         'D': sqlalchemy.types.VARCHAR(length=255),
         'E': sqlalchemy.types.VARCHAR(length=255),
         'F': sqlalchemy.types.Float(precision=3, asdecimal=True)
     }
 )  

如何进行索引？ 最好的方法是什么？

向 SQL 表插入新行的在线教程

Answer 1

将熊猫行作为占位符写入不同的表。

import pandas as pd

col_options = dict(
    dtype={
        'index': sqlalchemy.types.INTEGER(),
        'A': sqlalchemy.types.INTEGER(),
        'B': sqlalchemy.types.VARCHAR(length=255),
        'C': sqlalchemy.types.BIGINT(),
        'D': sqlalchemy.types.VARCHAR(length=255),
        'E': sqlalchemy.types.VARCHAR(length=255),
        'F': sqlalchemy.types.Float(precision=3, asdecimal=True)
    }
)
df.to_sql(name="sqltable_temp", con=engine, if_exists='replace', index=False, **col_options)  

在将占位符表中的值与您打算写入新记录的表中的值进行比较时，仅检索新记录。

query = """
    SELECT A, B, C, D, E, F FROM sqltable_temp 
    EXCEPT 
    SELECT A, B, C, D, E, F FROM sqltable;
"""

new_entries = pd.read_sql(query, con=engine, **col_options)

在表中追加新记录。

new_entries.to_sql(
    name="sqltable", con=engine, if_exists='append', **col_options)

最后，删除占位符表

engine.execute("DROP TABLE sqltable_temp;")