根据列表中的列匹配值选择SQL数据库中的行

Question

我有一个包含大约 140 万行的表，我想编写一个 sql 选择语句，它返回列表中第一列中的值（唯一 ID）中存在的所有行。

此列表可以包含 1 到 50k 个 ID，并且每次运行脚本时都会生成，并且每次都可能不同。根据此列表中的 id 编号值，我只想从数据库中提取第一列中具有这些 id 编号的行。

为了更完整：我在 python 脚本中执行上述所有操作。该脚本首先生成我需要的 ID 列表。然后我使用 pyodbc 与 azure ODBC 数据库进行通信。

我的第一个想法是使用“IN”语句：

myquery = SELECT * FROM mydb WHERE id IN mylist

显然，这不起作用，因为您需要在“IN”语句之后指定特定值，因为它基本上是“OR”语句的替代品。

不幸的是，即使经过几个小时的谷歌搜索，我还是找不到一种明显且易于理解的方法来将“IN”语句与 mylist 的变量名结合使用。在这种情况下这甚至可能吗？还是有其他更好的方法来获得相同的结果？

编辑：最好我正在寻找一种方法，而不必每次运行脚本时都为我的 IDlist 生成一个新的数据库表。

Answer 1

我按照建议为 ID 创建了一个额外的额外表来解决这个问题。 首先，我用 ID 号制作了一个附加表，然后我使用这个表从我的完整数据库中获取所需的结果，最后我再次删除了 ID 表。

花了一点时间才找到正确的语法，但以下内容让我可以快速完成整个过程：

# Transform my list of ID's to a list of lists
id_list = [[id] for id in ids] 
ID_TABLE = 'id_db_name'

conn = pyodbc.connect(driver='{ODBC Driver 17 for SQL Server}',
                      server='MY_SERVER',
                      database='MY_DATABASE',
                      uid='USERNAME', pwd='PASSWORD')

cursor = conn.cursor()

# Create a new table to store the ID's
create_table = "CREATE TABLE id_db_name (Casenr varchar(12));"
cursor.execute(create_table)
cursor.commit()

# Fill the new ID table with my data
insert_to_tmp_tbl_stmt = f"INSERT INTO {ID_TABLE} VALUES (?)"
cursor.fast_executemany = True
cursor.executemany(insert_to_tmp_tbl_stmt, id_list)

# Get the rows from my full database based on the created ID table
compare = f"SELECT * FROM full_db_name WHERE Casenr in (SELECT * FROM id_db_name)"
cursor.execute(compare)
results = cursor.fetchall()

# Delete the ID table
delete_table = "DROP TABLE dbo.tempTable"
cursor.execute(delete_table)
cursor.commit()

# Close the connection
cursor.close()
conn.close()

虽然上面的代码可能可以稍微清理一下（我自己仍然在语法上有点挣扎，我对 SQL 还是很陌生），即使对于大型 ID 表，它也很实用且快速。

Answer 2

前段时间我遇到了同样的问题，我的任务是选择用户可以通过 .csv 文件上传的 id（varchar 类型）的查询子集。 id 的数量可能有数千个，所以我不能只使用 IN ('id1', 'id2', ...) 策略，因为 IN 子句文字仅限于 1000 个文字...

我们的专家（我自己不能声称功劳）想出的是：

(1) 创建一个类型

create or replace TYPE ID_ARRAY as table of varchar2(12);

（只需执行一次，该类型将在此语句之后保留在您的数据库中，直到您将其删除）

(2) 将文字放在类似

的语句中

select * from (
<insert your unrestricted sql here>
) FULL_DATA
where full_data.id in 
(
select * from table(ID_ARRAY('id1', 'id2', .... 'id5000'))
)
;

这也适用于您的情况吗？