Javascript：更聪明的方法来过滤数千行与数千个值

Question

我有 2 列的行：产品 SKU 和类别 ID 我只需要返回与 cat_ids 列表匹配的产品 SKU 及其 cat_ids 在 SQL 中是：

SELECT SKU,cat_id FROM myTable where cat_id IN(my_huge cat_ids_list)

但我需要在 Javascript 中从选项卡选项卡返回数据中执行此操作。

显然，我可以使用两个嵌套循环来完成，但这会导致数百万次比较，而且速度太慢

如果我有 30000 个 SKU，则要匹配 1000 个 cat_id，最坏的情况是 30M 测试。

那么有没有一种更聪明的算法方法可以更全局地过滤这个，而不需要太多的测试？

非常感谢

Answer 1

为您的 cat_id 列表使用哈希集，它可以为您提供恒定时间的包含检查。不太熟悉 javascript，但我相信 Set 类型应该可以解决问题。

https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Set

Answer 2

您不需要嵌套循环。使用Set，即恒定时间查找。您需要从类别数组中创建集合，然后使用set.has() 进行过滤：

let rows = [
    {sku: 1, cat_id:100},
    {sku: 11, cat_id:10},
    {sku: 12, cat_id:10},
    {sku: 13, cat_id:20},
    {sku: 14, cat_id:10},
    {sku: 15, cat_id:20},
    {sku: 16, cat_id:100}
]
//original array of ids to match
let matchCats = [10, 20]

// make a set from it
let matchSet = new Set(matchCats)

// filter with has()
let filtered = rows.filter(item => matchSet.has(item.cat_id))
console.log(filtered)

这应该可以让您进行线性时间过滤。

根据评论修改
如果你不能使用 ES6，你仍然可以利用常规 javascript 对象可以像哈希一样使用常量键查找这一事实。它不是那么漂亮，但这应该仍然可以在线性时间内工作：

let rows = [
    {sku: 1, cat_id:100},
    {sku: 11, cat_id:10},
    {sku: 12, cat_id:10},
    {sku: 13, cat_id:20},
    {sku: 14, cat_id:10},
    {sku: 15, cat_id:20},
    {sku: 16, cat_id:100}
]

let matchCats = [10, 20]

// make an object of key/null-value pairs
let matchObj = matchCats.reduce((obj, item) => (obj[item] = null, obj), {})
let filtered = rows.filter(item => item.cat_id in matchObj)
console.log(filtered)