使用 Selenium 获取页面但等待未知元素值不为空

Question

上下文

这是Get a page with Selenium but wait for element value to not be empty的转贴，据我所知已关闭，没有任何有效性。

闭包推理中的链接答案都依赖于知道预期的文本值是什么。在每个答案中，它明确显示硬编码到 WebDriverWait 调用中的预期文本。此外，链接的答案都没有触及我问题的最后一部分：

[期望条件]在页面获取之前还是之后来

“重复”问题

• How to extract data from the following html?
• Assert if text within an element contains specific partial text

---

原始问题

我正在使用 Selenium 抓取一个网页，但我需要等待某个值才能加载。我不知道值是什么，只知道它会出现在什么元素中。

似乎使用预期的条件 text_to_be_present_in_element_value 或 text_to_be_present_in_element 是最有可能的前进方式，但我很难找到任何关于如何使用这些的实际文档，我不知道它们是否出现在之前或页面获取后：

webdriver.get(url)

---

改写

如何使用 Selenium 获取页面，但在继续之前等待未知文本值填充元素的文本或值？

Answer 1

我确信我的答案不是最好的，但这是我自己的代码的一部分，它帮助我解决了与您的问题类似的问题。

就我而言，我在加载 DOM 时遇到了问题。有时需要 5 秒有时需要 1 秒等等。

url = 'www.somesite.com'
browser.get(url)

因为在我的情况下browser.implicitly_wait(7) 还不够。我做了一个简单的for loop 来检查内容是否加载。

some code...

 for try_html in range(7):
        """ Make 7 tries to check if the element is loaded """
        browser.implicitly_wait(7)
        html = browser.page_source
        soup = BeautifulSoup(html, 'lxml')
        raw_data = soup.find_all('script', type='application/ld+json')
        

       """if SKU in not found in the html page we skip 
         for another loop, else we break the 
          tryes and scrape the page"""

        if 'sku' not in html:
            continue
        else:
            scrape(raw_data)
            break

它并不完美，但你可以试试。