我想从 carrefouruae.com 获取产品数据。当我检查产品名称和 div 类时，它返回空括号

Question

website image 这是我正在使用的代码。输出只返回一个空括号，而不是它在类中的数据。

        import requests 
    from bs4 import BeautifulSoup as bs

    from http import cookiejar  
    class BlockAll(cookiejar.CookiePolicy):
        return_ok = set_ok = domain_return_ok = path_return_ok = lambda self, *args, **kwargs: False
        netscape = True
        rfc2965 = hide_cookie2 = False
        
    s = requests.Session()
    s.cookies.set_policy(BlockAll())
    url = "https://www.carrefouruae.com/mafuae/en/c/F1600000?currentPage=0&filter=&nextPageOffset=0&pageSize=60&sortBy=relevance"
            
    headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Cafari/537.36'}


    r = s.get(url, headers=headers)
    soup = bs(r.text, 'html.parser')
    s=soup.find_all("div",{"class":"ltr-12fzzt2"})
    print(s)

Answer 1

像这样的动态网站需要 Selenium 从其中抓取数据。 BeautifulSoup 不适合这个。此类网站包含大量 Java 脚本内容。您的代码没有任何问题。