使用 whereIn 查询 65k+ 条记录

Question

我有一个导出功能，我想使用给定的 ID 查询和导出。我找到了使用skip() 和take() 进行查询的解决方案，但是现在whereIn('id', $ids) 给了我错误，因为它现在有85k 条记录。

PDOException: SQLSTATE[HY000]: 一般错误: 1390 Prepared statement contains too many placeholder

我使用的解决方案是：

public function handle() {
    $max = 5000;
    $total = $this->givenIds->count();

    $pages = ceil($total / $max);

    for ($i = 1; $i < ($pages + 1); $i++) {
        $offset = (($i - 1) * $max);
        $start = ($offset == 0 ? 0 : ($offset + 1));

        MyModel::whereIn('id', $givenIds)
                 ->orderBy('created_at', 'desc')
                 ->skip($start)
                 ->take($max)
                 ->get();

       // $this->generateTempCsv();
    }

    // $this->combineTempCSVs()
}

这在没有瓶颈的情况下运行良好 - 直到出现太多占位符错误。现在我收到了这个错误，我尝试了：

$query = MyModel::orderBy('created_at', 'desc')

foreach ($this->givenIds->chunk(2000) as $i => $chunk) {
    if ($i == 0) {
       $query = $query->whereIn('id', $chunk);
    } else {
       $query = $query->orWhereIn('id', $chunk);
    }
}

这给出了同样的错误。

如果我想使用 givenIds 进行查询，但仍想保留“orderBy - created_at”而不出现瓶颈，我该怎么办？

givenIds来自Controller（如上代码为Job）：

$givenIds = MyModel::select('id', 'created_at')
                    ->where(function($q) use ($dateRange, $queries) {
                            $this->applyQueryFilters($q, $queries, $dateRange);
                     })
                     ->orderBy('created_at', 'desc')
                     ->pluck('id');

Exporter::dispatch($givenIds)->onQueue('export');

PS：我使用$givenIds 的原因是因为有过滤器，首先我在应用过滤器后获得相关的ID，然后将$givenIds 传递给工作。获取$givenIds 时是否需要按 id 排序并取决于那里的顺序？

Answer 1

试试这个：在您的数据库配置文件中，在sql 或您用来连接数据库的驱动程序下，像这样添加一个字段options

'options'=> [PDO::ATTR_EMULATE_PREPARES => true]

PHP API 实际上说 (check this)：

一些驱动程序不支持原生预处理语句或对它们的支持有限。

另一个解决方案应该是更改驱动程序，但我认为向 database.php 添加一行更容易做到

可能的副作用报告：这可能会将返回值转换为字符串，如果您使用=== 作为比较运算符，这将影响您的代码。您可以使用模型中的protected $casts 变量来解决这个问题（如果您使用的是 Laravel）