氦气或硒不会单击按钮或链接

Question

我正在抓取一个名为 skechers 的运动鞋网站，现在当向下滚动以加载更多产品时出现 LOAD MORE 链接/按钮时，它会单击元素但没有加载。

这是我的代码：

from helium import*
import time
from bs4 import BeautifulSoup


s = start_firefox("https://www.skechers.com/men/shoes/boots/?srule=price-low-to-high&start=0&sz=24")

time.sleep(5)

for x in range(1,5):
    scroll_down(num_pixels=1000)
    time.sleep(3)
    try:
        click(Button('LOAD MORE'))
        time.sleep(10)
        
    except:
        continue

soup = BeautifulSoup(s.page_source,"lxml")

kill_browser()

现在我尝试了 click("LOAD MORE") 和 click(Link("LOAD MORE"))，但它们似乎都不起作用:(

Answer 1

from helium import*
import time
from bs4 import BeautifulSoup


s = start_firefox("https://www.skechers.com/men/shoes/boots/?srule=price-low-to-high&start=0&sz=24")

time.sleep(5)

for x in range(1,5):
    scroll_down(num_pixels=1000)
    time.sleep(3)
    try:
        button=s.find_element_by_xpath('//button[contains(text(),"Load More")]')
        button.click()
        time.sleep(10)
        
    except:
        continue

soup = BeautifulSoup(s.page_source,"lxml")

kill_browser()

使用 xpath ，由于某种原因，该方法在 firefox 中不起作用，但在 chrome 中运行良好