从 URL 列表中查找错误代码 404 的 Python 脚本

Question

from pandas import DataFrame 
import csv
import requests

urllist_404 = []
resplist = []
code_list = []
count = 0

with open('cmsURl.csv1.csv', 'r') as file:
    reader = csv.reader(file)

for row in reader:
    urls = row[1]
    request = requests.get(urls)
    request_code = request.status_code
    count = count + 1
    print(count)
    if request_code == 404:
       urllist_404.append(urls)
       resplist.append(request.elapsed)
       code_list.append(request_code)
df = DataFrame({'URL': urllist_404, 'Response Code': code_list, 'Response_Time': resplist})
df.to_excel('Error_404_list.xlsx')

我正在尝试制作一个 python 脚本来从超过 10000000 个返回响应代码 404 的 URL 的 CSV 文件中查找 URL，我需要在循环中将新行写入输出 CSV，以便如果程序由于任何原因而关闭，我可以保存结果副本，直到发生故障，任何人都可以建议我如何使它工作

更新的带有try-except块的sn-p，它只运行退出代码为0的脚本，但不写入新的excel文件

from pandas import DataFrame
import csv
import requests

urllist_404 = []
resplist = []
code_list = []
count = 0

with open('BADURLs.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:

        try:
            urls = row[0]
            request = requests.get(urls)
            request_code = request.status_code
            count = count + 1
            print(count)
            if request_code == 404:
                urllist_404.append(urls)
                resplist.append(request.elapsed)
                code_list.append(request_code)
        except:
            break
        df = DataFrame({'URL': urllist_404, 'Response Code': code_list, 'Response_Time': resplist})
        df.to_excel('Error_404_list.xlsx')

Answer 1

from pandas import DataFrame
import csv
import requests
import openpyxl

urllist_404 = []
resplist = []
code_list = []
count = 0

with open('urlpages1.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)
        urls = row[0]
        response = requests.get(urls)
        get_response_code = response.status_code
        if get_response_code == 404:
            urllist_404.append(urls)
            resplist.append(response.elapsed)
            code_list.append(get_response_code)
        df = DataFrame({'URL': urllist_404, 'Response Code': code_list, 'Response_Time': resplist})
df.to_excel('Error_404_list.xlsx')

我使用了一个带有 4 个 URL 的示例 csv 文件（google.com 的 3 个和 google.com/badpage 的第 4 个 - 给出 404）。我在这个 csv 上应用了上面的代码，新的 xlsx 文件将具有最后一个 url，因为它具有 404 响应代码。

URL Pages Image New

Error 404 List xlsx Image New