想用 lxml 和 python 从某个网站提取链接和标题，但不能

Question

我是 Yasa James，14 岁，是网络抓取的新手。 我正在尝试从此website 中提取标题和链接。 作为一个所谓的“Utako”和一个想成为程序员的人，我想创建一个同时提取链接和标题的程序。我目前正在使用 lxml，因为我无法下载 selenium，互联网有限，互联网非常慢，因为我来自菲律宾的一个省份，我认为它比我使用过的其他模块更快。

这是我的代码：

from lxml import html
import requests

url = 'https://animixplay.to/dr.%20stone'
page = requests.get(url)
doc = html.fromstring(page.content)

anime = doc.xpath('//*[@id="result1"]/ul/li[1]/p[1]/a/text()')

print(anime)

我注意到的一件事是，我想从任何 div 中获取元素的值，它是否会给出一个空列表作为输出。

希望各位前辈能帮帮我。谢谢！

更新： 我用requests-html 解决了我的问题，现在它可以工作了，谢谢！

Answer 1

这不起作用的原因是您尝试获取的站点使用 JavaScript 来生成结果，这意味着如果您想抓取 HTML，Selenium 是您唯一的选择。像 lxml 和 beautifulsoup 这样的静态获取和处理库根本无法解析 JavaScript 调用的结果。