带有加载文本和圆圈的 JSOUP Web 抓取页面

Question

我正在抓取网页。但是，在商店列表出现之前会出现一个加载文本和圆圈。如何获取加载动画后出现的商品详情 HTML？

这是我的输出 -

            <div class="content"> 
             <h1 class="title"> Airdrie store listing(s)</h1> 
             <p class="store-list-intro" data-store-message="There are {0}                                  stores in Airdrie" data-nostore-message="No stores  available in
                                &nbsp;Airdrie"> </p> 
            <div class="loader"> 
            <img src="/etc/designs/lclonline/images/global/loader.gif" alt=""> 
              <p> Loading...</p> 
             </div> 
            </div>

Answer 1

你不能用 Jsoup 做到这一点。看起来内容是通过 JavaScript 异步加载的，而 Jsoup 在被 JavaScript 加载之前只能从 url 中检索内容。

您需要一个不同的 html 客户端，例如 HtmlUnit，它可以实际呈现 JavaScript 并等待内容加载。