使用硒刮擦

Question

您好，我正在尝试抓取我最初使用 Bs4 的这个网站，这样可以获取某些元素。部门、名称等。但我无法使用它来获取财务数据。下面我复制了一些page_source，“-”在这种情况下应该是0.0663。我相信我正在尝试抓取 javascript，我环顾四周，但我所看到的解决方案都没有为我工作。我想知道是否有人可以帮我破解这个。

虽然如果有人可以发布一些工作代码，我将不胜感激，但如果您能指出正确的方向以及了解要在 html 中查找的内容，我也会非常感激，这向我展示了我需要做什么以及如何做得到它有点东西。

网址：https://www.tradingview.com/symbols/LSE-TSCO/

HTML：

<span class="tv-widget-fundamentals__label apply-overflow-tooltip">
    Return on Equity (TTM)
</span>
<span class="tv-widget-fundamentals__value apply-overflow-tooltip">
    —
</span>

Python 代码：

url = "https://www.tradingview.com/symbols/LSE-TSCO/"
options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get(url)
html = driver.page_source

Answer 1

获取权益值。诱导WebDriverWait() 并等待visibility_of_element_located() 及以下xpath。

driver.get(url)
print(WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.XPATH,"//span[contains(.,'Return on Equity (TTM)')]/following-sibling::span[1]"))).text)

您需要导入以下库。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

Answer 2

您可以使用xpath获得股本回报

equity = driver.find_element_by_xpath('/html/body/div[2]/div[4]/div/div/div/div/div/div[2]/div[2]/div[2]/div/div[2]/div[1]/div/div/div[1]/div[3]/div[3]/span[2]').text
print(equity)

Answer 3

这里的问题不在于元素是否存在，而是页面加载所需的时间。页面看起来很重，包含所有这些动态图表。甚至在页面完全加载之前，DOM 就开始创建并且默认值正在发生。

WebDriverWait 和 find_element_* 在元素当前不存在但需要一定时间才能出现时有效。在您的上下文中，它从一开始就存在，添加它不会有太大作用。这也是您得到“-”的原因，因为该元素以其默认值存在。

要解决此问题或减少问题，您可以添加代码以等待文档 readyState 完成

可以使用这样的东西：

def wait_for_page_ready_state(driver):
    wait = WebDriverWait(driver, 20)

    def _ready_state_script(driver):
        return driver.execute_async_script(
                """
                var callback = arguments[arguments.length - 1]; 
                callback(document.readyState);
                """) == 'complete'
    wait.until(_ready_state_script)

wait_for_page_ready_state(driver)

那么既然你带来了 bs4，我会在这里使用它：

financials = {}
for el in BeautifulSoup(driver.page_source, "lxml").find_all('div', {"class": "tv-widget-fundamentals__row"}):
    try:
        key = re.sub('\s+', ' ', el.find('span', {"class": "tv-widget-fundamentals__label "
                                                       "apply-overflow-tooltip"}).text.strip())
        value = re.sub('\s+', ' ', el.find('span', {"class": "tv-widget-fundamentals__value"}).text.strip())


        financials[key] = value
    except AttributeError:
        pass

这将为您提供金融卡所需的所有价值。

你现在可以打印你需要的值了：

print(financials['Return on Equity (TTM)'])

输出：

'0.0663'

当然，您也可以使用 selenium 执行上述操作，但希望提供您开始使用的内容。

需要注意的是，这并不能保证总是返回正确的值。在我的情况下它可能并且确实如此，但是由于您知道默认值，您可以添加一个 while 循环，直到默认值更改。

[编辑] 在循环中运行我的代码后，我达到了默认值 1/5 次。解决它的一种方法是创建一个方法并循环直到达到阈值。在我的发现中，您将始终使用数字更新约 90% 的值。当它使用默认值失败时，所有其他值也位于“-”。一种方法是使用阈值（即 50% 并且仅在达到阈值后才返回值）。

    def get_financial_card_values(default_value='—', threshold=.5):
        financials = {}
        while True:
            for el in BeautifulSoup(driver.page_source, "lxml").find_all('div', {"class": "tv-widget-fundamentals__row"}):
                try:
                    key = re.sub('\s+', ' ', el.find('span', {"class": "tv-widget-fundamentals__label "
                                                                       "apply-overflow-tooltip"}).text.strip())
                    value = re.sub('\s+', ' ', el.find('span', {"class": "tv-widget-fundamentals__value"}).text.strip())

                    financials[key] = value
                except AttributeError:
                    pass
            number_of_updated_values = [value for value in financials.values() if value != default_value]
            if len(number_of_updated_values) / len(financials) > threshold:
                return financials

使用这种方法，我总能检索到您期望的值。请注意，如果所有值都不会改变（站点问题），您将永远处于循环中，您可能希望使用计时器而不是 while True。只是想指出这一点，但我认为这不会发生。