试图抓取图像，我得到空输出

Question

我正在尝试抓取 Twitter 帐户图像，我尝试了多种方法，但输出一直给我空列表！

我的代码：

import requests
from bs4 import BeautifulSoup


url = requests.get('https://twitter.com/jack/photo')
soup = BeautifulSoup(url.text, 'lxml')
image = soup.find_all('img')

print(image)

输出：

[]

这是我项目的一部分.. 我尝试了 lxml 并按类查找，但我仍然一无所获，也许我在那里遗漏了一些东西，但我不知道它是什么。 如果有人可以帮助我，我将不胜感激。

提前致谢

Answer 1

我可以看到页面中使用了一些 React。如果您打开页面并检查元素，您会看到只要单击照片放大，就会出现一个新的 div，就像凭空出现的一样。这意味着它是由 react 创建的。

为了解决这个问题，您需要使用Selenium 在virtual browser 中打开页面，让JavaScript 发挥作用，然后查找img 标记。

Answer 2

您正在尝试为 JavaScript twitter 搜索路径。如果您检查页面的响应，您将看到以下代码段。

    <form action="https://mobile.twitter.com/i/nojs_router?path=%2Fjack%2Fphoto" method="POST" style="background-color: #fff; position: fixed; top: 0; left: 0; right: 0; bottom: 0; z-index: 9999;">
  <div style="font-size: 18px; font-family: Helvetica,sans-serif; line-height: 24px; margin: 10%; width: 80%;">
    <p>We've detected that JavaScript is disabled in your browser. Would you like to proceed to legacy Twitter?</p>
    <p style="margin: 20px 0;">
      <button type="submit" style="background-color: #1da1f2; border-radius: 100px; border: none; box-shadow: none; color: #fff; cursor: pointer; font-size: 14px; font-weight: bold; line-height: 20px; padding: 6px 16px;">Yes</button>
    </p>
  </div>
</form>

我建议在您的浏览器中禁用 javascript，然后弄清楚如何查看这样的照片。然后你可以使用 requests 来模仿这些请求。

对我有用的是向路径发送请求： https://mobile.twitter.com/jack

然后使用 css 选择器：class= "avatar"。应该有一个孩子，一个图片标签，抓取该图片标签的 src，这应该是您照片的链接。

根据要求，这是我使用的python代码：

import requests
from bs4 import BeautifulSoup


response = requests.get('https://mobile.twitter.com/jack')

soup = BeautifulSoup(response.text, 'lxml')

avatars = soup.findAll("td", {"class": "avatar"})

print(avatars[0].findAll('img')[0].get('src'))

注意：Twitter 经常更改其布局，因此这可能无法长时间使用。