如何计算在 python 中打开唯一 URL 的次数？

Question

我正在运行一个 Python 代码，它读取 URL 列表并使用 urlopen 单独打开每个 URL。某些 URL 在列表中重复。列表的示例如下：

• www.example.com/page1
• www.example.com/page1
• www.example.com/page2
• www.example.com/page2
• www.example.com/page2
• www.example.com/page3
• www.example.com/page4
• www.example.com/page4
• [...]

我想知道是否有一种方法可以实现一个计数器，该计数器会告诉我代码之前打开了唯一 URL 的次数。我想要一个计数器，它会返回列表中每个 URL 以粗体显示的内容。

• www.example.com/page1 : 0
• www.example.com/page1 : 1
• www.example.com/page2 : 0
• www.example.com/page2 : 1
• www.example.com/page2 : 2
• www.example.com/page3 ：0
• www.example.com/page4 : 0
• www.example.com/page4 : 1

谢谢！

Answer 1

使用collections.defaultdict() 对象：

from collections import defaultdict

urls = defaultdict(int)

for url in url_source:
    print '{}: {}'.format(url, urls[url])

    # process

    urls[url] += 1

Answer 2

为简单起见，使用ioStringIO：

import io
fin = io.StringIO("""www.example.com/page1
www.example.com/page1
www.example.com/page2
www.example.com/page2
www.example.com/page2
www.example.com/page3
www.example.com/page4
www.example.com/page4""")

我们使用collections.Counter

from collections import Counter
data = [line.strip() for line in f]
counts = Counter(data)
new_data = []
for line in data[::-1]:
    counts[line] -= 1
    new_data.append((line, counts[line]))
for line in new_data[::-1]:
    fout.write('{} {:d}\n'.format(*line))

这是结果：

fout.seek(0)
print(fout.read())

www.example.com/page1 0
www.example.com/page1 1
www.example.com/page2 0
www.example.com/page2 1
www.example.com/page2 2
www.example.com/page3 0
www.example.com/page4 0
www.example.com/page4 1

编辑

适用于大文件的较短版本，因为它一次只需要一行：

from collections import defaultdict
counts = defaultdict(int)

for raw_line in fin:
    line = raw_line.strip() 
    fout.write('{} {:d}\n'.format(line, counts[line]))
    counts[line] += 1

Answer 3

我认为你不能那样做。 删除列表中的重复项。