C#/ODP.NET：大型 IN 子句解决方法

Question

我们有一个 C# 组件，用于处理将任意大小的元素列表附加到 IN 子句中，以进行半任意 SQL SELECT 查询。本质上，这归结为收到以下内容：

SELECT COUNT(*) FROM a WHERE b IN (...)

...其中“...”是组件被允许修改的唯一查询部分。

当前组件会插入一组逗号分隔的命名绑定参数，然后将对应的 IDbDataParameter 对象附加到命令并执行；组件知道它必须绑定的参数的类型。这很有效，直到调用代码提供的参数集大于数据库愿意接受的参数集。这里的目标是通过 ODP.NET 让如此大的集合处理针对 Oracle 11gR2 的查询。

由于以下方法被设置要求的人认为是不可接受的，因此这项任务有些复杂：

• 全局临时表
• 存储过程
• 任何需要CREATE TYPE 的事情都已被执行

解决这个问题不需要只执行一个查询。

我正在尝试通过将子句绑定为数组来完成这项工作，使用来自其他地方的代码：

IList<string> values;

//...

OracleParameter parameter = new OracleParameter();
parameter.ParameterName = "parm";
parameter.DbType = DbType.String;
parameter.Value = values.ToArray();
int[] sizes = new int[values.Count];
for (int index = 0; index < values.Count; index++)
{
    sizes[index] = values[index].Length;
}
parameter.ArrayBindSize = sizes;

//...

该命令随后执行而没有引发异常，但 COUNT 返回的值为零（与预期值相比，在 SQLDeveloper 中运行查询并使用嵌套的SELECT 返回相同的参数集）。到目前为止，浏览 ODP.NET 文档并没有带来任何乐趣。

对此的问题是：

• 有没有办法使上述参数附件按预期工作？
• 是否有另一种可行的方法来实现这一目标而不使用其中一种被否决的方法？

（我知道这类似于this (unanswered) question，但该场景并未提及对方法有相同的限制。）

Answer 1

好吧，既然不允许您使用全局临时表，那么您至少可以创建普通表吗？如果是这样，这里有一个方法：

使用以下命令文本创建一个 OracleCommand 对象：

@"BEGIN
CREATE TABLE {inListTableName}
(
  inValue   {dbDataType}
)

INSERT INTO {inListTableName}(inValue) VALUES(:inValue);
END"

将命令对象上的 ArrayBindCount 设置为 in 列表中所需的项目数。

将{inListTableName} 替换为Guid.NewGuid().ToString()。

将 {dbDataType} 替换为您要在 in 子句中使用的值列表的正确 oracle 数据类型。

向名为“inValue”的 OracleCommand 添加一个 OracleParameter，并将参数的值设置为一个数组，该数组包含您在 in 子句中需要的值。如果你有一个 Hashset（我建议使用它来避免发送不必要的重复），使用它上面的 .ToArray() 来获取一个数组。

执行此命令。这是您的准备命令。

然后在你的 select sql 语句中使用下面的 sql sn-p 作为 in 子句的值部分： (SELECT {inListTableName}.inValue FROM {inListTableName})

例如：

SELECT FirstName, LastName FROM Users WHERE UserId IN (SELECT {inListTableName}.inValue FROM {inListTableName});

执行此命令获取阅读器。

最后，还有一个带有以下命令文本的命令：

DROP TABLE {inListTableName};

这是您的清理命令。执行此命令。

您可能希望创建一个备用架构/用户来创建 inListTable，以便您可以向您的用户授予仅在该架构中创建表的适当权限。

所有这些都可以封装在具有以下接口的可重用类中：

public interface IInListOperation
{
    void    TransmitValueList(OracleConnection connection);
    string  GetInListSQLSnippet();
    void    RemoveValueList();
}

TransmitValueList 将创建您的准备命令，添加参数并执行准备命令。

GetInListSQLSnippet 只会返回 (SELECT {inListTableName}.inValue FROM {inListTableName});

RemoveValueList 清理。

该类的构造函数将采用值列表和 oracle db 数据类型，并生成 inListTableName。

如果您可以使用全局临时表，我建议您不要创建和删除表。

编辑： 我想补充一点，如果您的子句涉及NOT IN 列表或其他不等式运算符，则此方法效果很好。举个例子：

SELECT FirstName, LastName FROM Users WHERE Status == 'ACTIVE' OR UserID NOT IN (1,2,3,4,5,6,7,8,9,10);

如果您使用拆分NOT IN 部分的方法，您最终会得到无效的结果。以下对前面示例进行划分的示例将返回所有用户，而不是除 UserIds 1-10 之外的所有用户。

SELECT FirstName, LastName FROM Users WHERE UserID NOT IN (1,2,3,4,5)
UNION
SELECT FirstName, LastName FROM Users WHERE UserID NOT IN (6,7,8,9,10);

Answer 2

对于您正在执行的查询类型而言，这可能过于简单，但是您是否有任何理由不能将其拆分为多个查询并将结果组合到代码中？

即假设 5 个元素对于查询来说太多了...

select COUNT(*) from A where B in (1,2,3,4,5)  

你会单独执行

select COUNT(*) from A where B in (1,2,3)
select COUNT(*) from A where B in (4,5)

然后将这些结果相加。当然，您必须确保子句列表是不同的，这样您就不会加倍计数。

如果您可以这样做，那么如果您被允许多个连接，则可以增加并行性。