删除 Python 中的重复 URL（非列表）

Question

我需要有关删除输出中重复 URL 的帮助。如果可能的话，我会尝试将其表示为不必将所有内容都放在列表中。我觉得可以通过一些合乎逻辑的陈述来实现，只是不知道如何实现。使用 Python 3.6。

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
from urllib.parse import urljoin as join

my_url = 'https://www.census.gov/programs-surveys/popest.html'

uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()

page_soup = soup(page_html, "html.parser")

filename = "LinkScraping.csv"
f = open(filename, "w")
headers = "Web_Links\n"
f.write(headers)

links = page_soup.findAll('a')

for link in links:
    web_links = link.get("href")
    ab_url = join(my_url, web_links)
    print(ab_url)
        if ab_url:
        f.write(str(ab_url) + "\n")

f.close()

Answer 1

除非您想写入文件并一遍又一遍地重新读取它（这远不如使用内存数据结构可取），否则您无法在不使用任何某种数据结构的情况下实现这一点。

使用set：

.
.
.

urls_set = set()

for link in links:
    web_links = link.get("href")
    ab_url = join(my_url, web_links)
    print(ab_url)
    if ab_url and ab_url not in urls_set:
        f.write(str(ab_url) + "\n")
        urls_set.add(ab_url)