按照论坛中的链接使用 BS4 抓取线程（评论）

Question

我有一个有 3 个主题的论坛。我正在尝试抓取所有三个帖子中的数据。所以我需要按照每个帖子的href链接并抓取数据。这给了我一个错误，我不确定我错了什么......

import csv
import time
from bs4 import BeautifulSoup
import requests

source = requests.get('https://mainforum.com').text

soup = BeautifulSoup(source, 'lxml')

#get the thread href (thread_link)
for threads in soup.find_all('p', class_= 'small'):
    thread_name = threads.text
    thread_link = threads.a.get('href')# there are three threads and this gets all 3 links
    print (thread_link)

其余代码是我遇到问题的地方？

# request the individual thread links
for follow_link in thread_link:
    response = requests.get(follow_link)

    #parse thread link
    soup= BeautifulSoup(response, 'lxml')

    #print Data
    for p in soup.find_all('p'):
        print(p)

Answer 1

至于您的架构错误...

您收到架构错误是因为您一遍又一遍地覆盖一个链接。然后您尝试调用该链接，就好像它是链接列表一样。此时它是一个字符串，您只需遍历字符（以 h 开头）因此出现错误。

请看这里：requests.exceptions.MissingSchema: Invalid URL 'h': No schema supplied

---

关于一般查询以及如何解决此类问题...

如果我这样做，流程将如下所示：

1. 获取三个href（类似于您已经完成的）
2. 使用单独抓取线程 href 并返回您希望它们返回的任何内容的函数
3. 在任何地方保存/附加返回的信息。
4. 重复

---

可能是这样的

import csv
import time
from bs4 import BeautifulSoup
import requests

source = requests.get('https://mainforum.com')

soup = BeautifulSoup(source.content, 'lxml')

all_thread_info = []

def scrape_thread_link(href):
    response = requests.get(href)

    #parse thread link
    soup= BeautifulSoup(response.content, 'lxml')

    #return data
    return [p.text for p in soup.find_all('p')]

#get the thread href (thread_link)
for threads in soup.find_all('p', class_= 'small'):
    this_thread_info = {}
    this_thread_info["thread_name"] = threads.text
    this_thread_info["thread_link"] = threads.a.get('href')
    this_thread_info["thread_data"] = scrape_thread_link(this_thread_info["thread_link"])
    all_thread_info.append(this_thread_info)

print(all_thread_info)

---

原始问题中有很多未指定的内容，因此我做了一些假设。理想情况下，您可以看到要点。

另外请注意，我更喜欢使用 response 的 .content 而不是 .text。

Answer 2

@Darien Schettler 我对代码进行了一些更改/调整，如果我在某个地方搞砸了，我很想听听？

all_thread_info = []

def scrape_thread_link(href):
    response = requests.get(href)
    soup= BeautifulSoup(response.content, 'lxml')

    for Thread in soup.find_all(id= 'discussionReplies'):
        Thread_Name = Thread.find_all('div', class_='xg_user_generated')
        for Posts in Thread_Name:
            print(Posts.text)


for threads in soup.find_all('p', class_= 'small'):
    thread_name = threads.text
    thread_link = threads.a.get('href')
    thread_data = scrape_thread_link(thread_link)
    all_thread_info.append(thread_data)