URL 文件到表格抓取并保存到 csv

Question

总的来说，我对编码很陌生。我知道 excel 和一些 VBA，但我一直坚持把这些部件放在一起。 我有一个 URL 列表，下面给出了我想要的 1 个 URL 的输出，但我有 500 个具有相同数据的 URL。 我想要做的是让它读取 url 文件获取数据并将输出保存到 csv 中。请帮我解决这个问题。我知道这很简单，而且我找到了很多方法来做到这一点，但是把所有的和平放在一起很难。 谢谢 迈克

import bs4 as bs
import urllib.request
import pandas as pd
import csv 

with open("tvlocation.csv","r") as file:
file.write('dfs = pd.read_html('tvurl.txt')
for df in dfs:
    print(df)

file.close()

Answer 1

由于您有 500 个 URL，您可以将其保存到文件中。然后，您可以将这些行读入一个列表并在每个行上使用read_html()，以获取一个数据框列表。将第一个数据框的第二列获取到一个列表中，并使用 csv 模块将其写入文件。

import pandas as pd
import csv
url_list=[]
with open('file.csv','w') as csvfile, open('urls.txt','r') as urlfile:
    writer = csv.writer(csvfile, delimiter=',', quotechar='"')
    #Write the headers
    writer.writerow(['State','City','Country','Callsign','Network Affiliation'])
    #Read urls into a list
    urls=urlfile.readlines()
    for url in urls:
        dfs = pd.read_html(url.strip())
        #convert second column of 1st dataframe to a list and write to csv file
        writer.writerow(list(dfs[0][1])[:-1])

urls.txt

https://nocable.org/browse-stations/callsign/cadenatres-linares-nl
https://nocable.org/browse-stations/callsign/k27hm-d-quanah-tx

文件.csv

State,City,Country,Callsign,Network Affiliation
Newfoundland and Labrador,AGUALEGUAS,USA,CADENATRES,INDEPENDENT
Texas,QUANAH,USA,27,K27HM-D,INDEPENDENT

您可能需要考虑在每个 url 上使用 read_html 时添加一些随机延迟。此外，如果您想以 50 个 url 等块的形式执行此操作，请不要忘记将写入模式从 'w' 更改为 'a' 并删除第二次写入标头的代码。

Answer 2

您可以使用字典列表。

import urllib.request
from urllib.request import urlopen
from bs4 import BeautifulSoup
import csv

url_list = ['https://nocable.org/browse-stations/callsign/cadenatres-linares-nl',
            'https://nocable.org/browse-stations/callsign/k27hm-d-quanah-tx']
data = []
for url in url_list:
    page = urllib.request.urlopen(url)
    soup = BeautifulSoup(page, "html.parser")

    urldict = {}
    tr = soup.find_all('tr')
    for row in tr:
        th = soup.find_all('th')
        td = soup.find_all('td')

    for item in range(0,len(th)):    
        urldict.update({th[item].text:td[item].text})

    data.append(urldict)

在csv 文件中定义要用作标题的列。

cols = []
for d in range(0,len(data)):
    for i in data[d].keys():
        if i not in cols:
            cols.insert(len(cols),i)

然后，将字典列表保存到csv文件中。

with open('file_url.csv', 'w') as output_file:
    dict_writer = csv.DictWriter(output_file, cols)
    dict_writer.writeheader()
    dict_writer.writerows(data)