从 .txt 文件中形成单词列表的最快方法

Question

我正在根据单词列表对在线词典进行网络抓取。以下是 .txt 文件中的单词列表的一部分：...泄露、无意、Panegyric、Draconian、Hodgepodge...

我开发了一个运行良好的代码，但是当单词列表变长时运行速度会很慢。在我的例子中，单词列表大约有 3000 个单词，代码将对每个单词进行抓取。我的代码如下：

file = open('word_list.txt', 'r') 
search_list = file.read().split(',')
file.close()

for x in tqdm(range(int(len(search_list)))):
    search = search_list[x]

    # (BeautifulSoup web scraping...)

    # (pandas organizes dataframe into .csv)
print ('Done!')

似乎第一步需要很多时间。有什么办法可以加快整个过程？

Answer 1

我可能会尝试这样的事情：

编写一个简单的程序将 search_list 转换为字典。

file = open('word_list.txt', 'r') 
search_list = file.read().split(',')
file.close()

search_dict = {}
for i in range(len(search_list)):
    search_dict[i] = search_list[i]
print(search_dict)

这应该在您的控制台上以 dict 格式打印出整个单词列表，例如 {1: a, 2: an, ...}。将此 dict 复制并粘贴到新文件或硬代码中（如果您想以这种方式维护它，而不是每次开始时都运行它）。节省内存空间，而且速度更快，因为 dicts 中的单词不会改变，并且以后可以随时更新。

for x in tqdm(range(int(len(search_dict)))):
    search = search_dict.get(x)

    # (BeautifulSoup web scraping...)

    # (pandas organizes dataframe into .csv)
print ('Done!')

所以，你得到的是一个支持随机访问的字典，而不是一个列表。我认为这应该在 O(1) 中起作用。