从以前找到的链接中抓取链接

Question

我正在网页抓取一个包含美国开放Christmas tree farms 的网站。我的最终目标是获取每个农场的电话名称、号码、地址和电子邮件。虽然这是我的最终目标，但我还没有编码那么远，所以请只在我遇到困难的地方帮助我。我也想尽可能地贴近我的代码，以便我能理解它（我对此很陌生），但当然感谢其他建议。

我首先抓取了主页，其中有一个带有嵌入式链接的状态表。我能够在我的第一个代码块中收集所有这些链接。在各州内，有一张显示每个县的地图（带有另一个嵌入式链接）。我现在正试图抓住每个链接。我能够用类似于我显示的第一个代码块的东西来做一个状态，但我想循环通过以消除不必要的/重复的代码。我尝试创建一个循环，但我的.text 命令出现错误。我假设我抓取的每个链接最后都需要有一个.text，就像我的source 变量一样。所以我尝试添加它，但显然有问题。有什么建议吗？

source = requests.get('http://www.pickyourownchristmastree.org/').text
soup = BeautifulSoup(source, 'lxml')
concatenate = 'http://www.pickyourownchristmastree.org/'

find_state_group = soup.find('div', class_ = 'alert')
for link in find_state_group.find_all('a', href=True):
    if 'xmastrees' in link['href']:
        states = concatenate + link['href']

i = 1
for source_state in states:
    source_state = states[-1 + i:]
    x = source_state().text
    soup_state = BeautifulSoup(x, 'lxml')
    state_county = soup_state.find('div', class_='alert')
    for county_link in state_county.find_all('area', href=True):
        if '.php' in county_link['href']:
            county_link_update = concatenate + county_link['href']
            print(county_link_update)
    i = i + 1

    x = source_state().text
TypeError: 'str' object is not callable

Answer 1

根据您对我的评论的回复，我对您的解决方案进行了一些小改动。您应该能够遵循此逻辑来获取和导航到地图中的每个链接。

1. 一开始我创建了一个空列表state_links。
   • 对于我们找到的每个状态链接，我将其附加到该列表中。
2. 对于 state_links 中的每个状态链接，我们都会发出一个新请求以获取该页面的文本内容。

---

import requests
from bs4 import BeautifulSoup

source = requests.get('http://www.pickyourownchristmastree.org/').text
soup = BeautifulSoup(source, 'html.parser')
concatenate = 'http://www.pickyourownchristmastree.org/'
state_links = []
ab = ['AL', 'AK', 'AZ', 'AR', 'CA', 'CO', 'CT', 'DE', 'FL', 'GA', 'HI', 'ID','IL', 'IN', 'IA', 'KS', 'KY', 'LA',
          'ME', 'MD', 'MA', 'MI', 'MN', 'MS', 'MO', 'MT', 'NE', 'NV', 'NH', 'NJ', 'NM', 'NY', 'NC', 'ND', 'OH', 'OK',
          'OR', 'PA', 'RI', 'SC', 'SD', 'TN', 'TX', 'UT', 'VT', 'VA', 'WA', 'WV', 'WI', 'WY']
ab = [x + "xmastrees.php" for x in ab]
find_state_group = soup.find('div', class_ = 'alert')
links = find_state_group.find_all('a', href=True)
for link in links:
    if link['href'] in ab:
        states = concatenate + link['href']
        state_links.append(states)
print(state_links)

for link in state_links:
    source = requests.get(link).text
    soup = BeautifulSoup(source, 'html.parser')
    area_links = soup.find_all('area', href=True)
    area_links = [concatenate + x['href'] for x in area_links]
    print(area_links)

Answer 2

import requests
from bs4 import BeautifulSoup

source = requests.get('http://www.pickyourownchristmastree.org/').text
soup = BeautifulSoup(source, 'html.parser')
concatenate = 'http://www.pickyourownchristmastree.org/'
state_links = []
ab = ['AL', 'AK', 'AZ', 'AR', 'CA', 'CO', 'CT', 'DE', 'FL', 'GA', 'HI', 'ID','IL', 'IN', 'IA', 'KS', 'KY', 'LA',
          'ME', 'MD', 'MA', 'MI', 'MN', 'MS', 'MO', 'MT', 'NE', 'NV', 'NH', 'NJ', 'NM', 'NY', 'NC', 'ND', 'OH', 'OK',
          'OR', 'PA', 'RI', 'SC', 'SD', 'TN', 'TX', 'UT', 'VT', 'VA', 'WA', 'WV', 'WI', 'WY']
ab = [x + "xmastrees.php" for x in ab]

find_state_group = soup.find('div', class_ = 'alert')
links = find_state_group.find_all('a', href=True)
for link in links:
    if link['href'] in ab:
        states = concatenate + link['href']
        state_links.append(states)
print(state_links)

i = 1
for source_state in state_links:
    source_state = states[-1 + i:]
    x=requests.get(source_state).text
    soup_state = BeautifulSoup(x, 'lxml')
    state_county = soup_state.find('div', class_='alert')
    for county_link in state_county.find_all('area', href=True):
        if '.php' in county_link['href']:
            county_link_update = concatenate + county_link['href']
            print(county_link_update)
    i = i + 1