使用 Python 从 JavaScript 数组中删除重复项

Question

假设我有一个 JavaScript 元素数组，看起来非常类似于：

var oui = new Array({
    "pfx": "000000",
    "mask": 24,
    "desc": "00:00:00   Officially Xerox, but 0:0:0:0:0:0 is more common"
},{
    "pfx": "000001",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000002",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000003",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000004",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000004",
    "mask": 24,
    "desc": "Let's pretend this is a repeat"
   });

现在想象一下，文件非常大，一些“pfx”值在整个数据集中重复出现。显然，手动重复数据删除是不可能的，所以我试图找出以编程方式处理它的最佳方法。如何编写 python 脚本来读取包含此数据集的 .JS 文件以进行重复数据删除和删除任何重复项？换句话说，我想读入 JS 文件，解析数组，并生成另一个具有类似数组的 JavaScript 文件，但 pfx 变量只有唯一值。

我已经解决了其他几个本质上相似的 Stack Overflow 问题，但似乎没有什么适合这种情况。在我的 python 测试中，我很少能自己获取 pfx 变量来删除重复项，或者 Python 难以将其作为正确的 JSON 对象读入（即使没有“var”和“new Array”部分）。我还应该注意，我在 Python 中对 JS 文件中的另一个 JavaScript 函数进行重复数据删除（我尝试遵循 this 之类的示例）的原因是它只会夸大具有加载到页面上。

在未来，该数组可能会继续增长——因此为了避免不必要的 JavaScript 加载以保持页面响应时间快，我认为这是一个可以而且应该离线执行并添加到页面的步骤.

为了澄清，这里是我试图模拟的网站模型：https://www.wireshark.org/tools/oui-lookup.html。它本质上非常简单。

研究：

Convert Javascript array to python list?

Remove duplicate values from JS array

Answer 1

由于结构没有嵌套，可以用正则表达式匹配数组，然后用JSON解析，在Python中用filter去除重复对象，然后用去重的JSON字符串替换。

使用数组字面量语法（[ 和 ]）而不是 new Array 来保持简洁（最好不要使用 new Array）：

import re
import json
str = '''
var oui = [{
    "pfx": "000000",
    "mask": 24,
    "desc": "00:00:00   Officially Xerox, but 0:0:0:0:0:0 is more common"
},{
    "pfx": "000001",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000002",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000003",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000004",
    "mask": 24,
    "desc": "Xerox  Xerox Corporation"
},{
    "pfx": "000004",
    "mask": 24,
    "desc": "Let's pretend this is a repeat"
   }];
'''

def dedupe(match):
   jsonStr = match.group()
   list = json.loads(jsonStr)
   seenPfxs = set()
   def notDupe(obj):
        thisPfx = obj['pfx']
        if thisPfx in seenPfxs:
            return False
        seenPfxs.add(thisPfx)
        return True
   return json.dumps([obj for obj in list if notDupe(obj)])

dedupedStr = re.sub(r'(?s)\[[^\]]+\](?=;)', dedupe, str)
print(dedupedStr)

输出：

var oui = [{"pfx": "000000", "mask": 24, "desc": "00:00:00   Officially Xerox, but 0:0:0:0:0:0 is more common"}, {"pfx": "000001", "mask": 24, "desc": "Xerox  Xerox Corporation"}, {"pfx": "000002", "mask": 24, "desc": "Xerox  Xerox Corporation"}, {"pfx": "000003", "mask": 24, "desc": "Xerox  Xerox Corporation"}, {"pfx": "000004", "mask": 24, "desc": "Xerox  Xerox Corporation"}];

如果可能，您可能会考虑将数据存储在单独的标签中，而不是使用内联 Javascript - 它会更易于维护。例如，在您的 HTML 中，而不是

var oui = [{
    "pfx": "000000",
    "mask": 24,
    "desc": "00:00:00   Officially Xerox, but 0:0:0:0:0:0 is more common"
},{

考虑类似

var oui = JSON.parse(document.querySelector('[data-oui').textContent);
console.log(oui);

<script data-oui type="application/json">[{
    "pfx": "000000",
    "mask": 24,
    "desc": "00:00:00   Officially Xerox, but 0:0:0:0:0:0 is more common"
}]</script>

那么您不必动态更改 Javascript，只需 <script data-oui type="application/json"> 标记即可。