BeautifulSoup 中的 find_all() 方法返回空列表

Question

我是编程新手，也是 pyhon 新手。

我的目的是建立一个 ebay 网络爬虫。

我正在尝试使用 bs4 find_all() 方法提取链接列表，但无论我尝试什么，它总是返回一个空列表。

def get_index_data(soup):

    try:
        links = soup.find_all('a', {'class': 's-item__link'})
        print(links)
    except:
        links = []
        print(links)

我也是这样写的。

links = soup.find_all('a', class_= 's-item__link')

它还返回一个空列表。完全不知道怎么回事

编辑：

    import requests
from bs4 import BeautifulSoup


def get_page(url):

    response = requests.get(url)

    if not response.ok:
        print('server responded: ', response.status_code)
    else:
        soup = BeautifulSoup(response.text, 'lxml')
    return soup


def get_index_data(soup):
    links = soup.find_all('a')

    print(links)


def main():

    url = 'https://www.ebay.de/sch/i.html?_nkw=armbanduhr&_pgn=1 '
    get_index_data(get_page(url))


if __name__ == '__main__':
    main()

编辑2

仅使用 .find_all('a') 运行代码后出错

---

Traceback (most recent call last):
  File "C:\Users\Aleksandar\Desktop\My ebay scraper\test", line 29, in <module>
    main()
  File "C:\Users\Aleksandar\Desktop\My ebay scraper\test", line 25, in main
    get_index_data(get_page(url))
  File "C:\Users\Aleksandar\Desktop\My ebay scraper\test", line 19, in get_index_data
    print(links)
  File "C:\Users\Aleksandar\AppData\Local\Programs\Python\Python38\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2705' in position 28776: character maps to <undefined>

Answer 1

您的代码未向我们显示您尝试解析的网址。

请...尝试理解解析一个简单页面的概念...

Ebay 使用 JavaScript，抓取有点困难...

我会写一个简单的...

希望能帮助你理解一些概念...

from bs4 import BeautifulSoup
import requests

page = "https://en.wikipedia.org/wiki/Main_Page"

page_text = requests.get(page).text

soup = BeautifulSoup(page_text, 'lxml')

# print(soup)
links = []
links = soup.find_all("a")

for link in links:
    print(link)

Answer 2

BeautifulSoup 针对不同情况有几种不同类型的解析器。过去我一直坚持使用“html.parser”而不是“lxml”。有时在“html.parser”将返回结果的情况下，使用“lxml”实际上会返回 None。

这可能就是您收到错误消息和空结果的原因，我会尝试这样做。当我写出与您类似的东西时，它起作用了。由于 a 标签被大量使用，你可能会得到一大块东西来解析，但如果你从 lxml 更改为 html.parser 它应该可以工作！

网络抓取可能很难掌握，但一旦你做到了，它就会变得非常有趣。在 Youtube 上有很多很棒的视频谈论 beautifulsoup。