如何使用 selenium 在 id 中找到包含某些字符串的元素？

Question

我正在开发一些简单的爬虫来抓取 Twitter 上的转发计数。 我被这个困住了：

<span class="ProfileTweet-actionCountForAria" id="profile-tweet-action-retweet-count-aria-123456789123456789">리트윗 0개</span>

这就是我要收集的目标标签。您可以看到标签的 id 对每个用户都有一些不同的 id 编号。所以我试图像这样用 find_elements_by_xpath 收集那些：

retweets = driver.find_elements_by_xpath("//span[@id='profile-tweet-action-retweet-count-area-*'].text")

我认为 * 在 selenium 中的某些地方有效，但在该代码中不起作用。

那么，简而言之，我怎样才能找到 id 包括 'profile-tweet-action-retweet-count-area' 的元素？

感谢您的关注。我找不到这样的问题（也许我没有用正确的问题搜索它，嗯），但我也找到了很好的参考资料或其他链接！

Answer 1

Css 选择器是：

span[id*="profile-tweet-action-retweet-count-aria"]  

或者更好的css选择器是：

span[id^='profile-tweet-action-retweet-count-aria']

如果您有多个条目，您可以使用find_elements 方法，该方法将为您提供web 元素 的列表。

如果你不想要 css 选择器并且想坚持使用 xpath：

//span[contains(@id,"profile-tweet-action-retweet-count-aria")]

代码：

list_retweet = driver.find_elements_by_xpath("//span[contains(@id,"profile-tweet-action-retweet-count-aria")]")

for retweet in list_retweet:
  print(retweet.text)

Answer 2

您可以在 xpath 或 css 选择器中使用 contains() 或 starts-with() 方法。

另外，要从元素中获取文本，您必须在 find_element 方法之外使用 .text

XPath：

retweets = driver.find_elements_by_xpath("//span[starts-with(@id,'profile-tweet-action-retweet-count-area-')]")

或者，

retweets = driver.find_elements_by_xpath("//span[contains(@id,'profile-tweet-action-retweet-count-area-')]")

CSS 选择器：

retweets = driver.find_elements_by_css_selector("span[@id^='profile-tweet-action-retweet-count-area-']")

或者，

retweets = driver.find_elements_by_css_selector("span[@id*='profile-tweet-action-retweet-count-area-']")

您必须迭代列表以获取所有元素，然后您可以使用.text 获取元素的文本

for retweet in retweets:
    print(retweet.text)

---

编辑： 正如 Cruisepanday 提到的，find_elements_ 返回一个列表，.text 不适用。此外，CSS 选择器不应该有//。我已经相应地更改了代码。

Answer 3

使用WebdriverWait 处理动态元素试试Xpath 或Css 选择器

element=WebDriverWait(driver,30).until(EC.element_to_be_clickable((By.XPATH,'//span[@class="ProfileTweet-actionCountForAria"][starts-with(@id,"profile-tweet-action-retweet-count-aria-")]')))
print(element.text)

或

element1=WebDriverWait(driver,30).until(EC.element_to_be_clickable((By.CSS_SELECTOR,'span.ProfileTweet-actionCountForAria[id^="profile-tweet-action-retweet-count-aria-"]')))
    print(element1.text)

请注意，您需要使用以下导入。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By