使用隐藏在“Lihat Selengkapnya”下的数据抓取网站答案

【问题标题】：Scraping a website with data hidden under “Lihat Selengkapnya”使用隐藏在“Lihat Selengkapnya”下的数据抓取网站
【发布时间】：2021-07-27 10:15:27
【问题描述】：

我正在尝试从https://www.tokopedia.com/ofan-store8/xiaomi-redmi-9-ram-4-64gb-garansi-resmi-tam-purple?src=topads 抓取产品描述，并且我想在网站的“Lihat Selengkapnya”按钮下获取数据。有没有办法刮掉这个？

这里是html：

<div role="tabpanel">
   <ul class="css-1ijyj3z e1iszlzh2" data-testid="lblPDPInfoProduk">
      <li class="css-354z6m">
         <span>
            Kondisi<!-- -->: 
         </span>
         <span class="main">Baru</span>
      </li>
      <li class="css-354z6m">
         <span>
            Berat<!-- -->: 
         </span>
         <span class="main">500 Gram</span>
      </li>
      <li class="css-354z6m">
         <span>
            Kategori<!-- -->: 
         </span>
         <a href="https://www.tokopedia.com/p/handphone-tablet/handphone/android-os" rel="noopener noreferrer" target="_blank"><b>Android OS</b></a>
      </li>
      <li class="css-354z6m">
         <span>
            Etalase<!-- -->: 
         </span>
         <a href="https://www.tokopedia.com/ofan-store8/etalase/xiaomi" rel="noopener noreferrer" target="_blank"><b>Xiaomi</b></a>
      </li>
   </ul>
   <div class="css-1dwge1q">
      <span class="css-11oczh8 e1iszlzh0">
         <span class="css-17zm3l e1iszlzh1">
            <div data-testid="lblPDPDescriptionProduk">Produk segel<br/>Kualitas terjamin keasliannya <br/>bergaransi TAM<br/>Produk kami kirim dlm keadaan ssgel...<br/><br/>Note : <br/>UNTUK PARA PEMBELI MOHON DI BACA SEBELUM MEMBELI..... <br/><br/>untuk garansi Kami akan aktivasi sesuai dengan invoice pembelian di  TOKOPEDIA oleh Promotor Xiaomi kami dengan cara sebagai berikut : <br/><br/>imei handphone di sold out menggunakan sistem aplikasi yg ada di setiap handphone para promotor xiaomi... dan kami pastikan produk tdk lah di unboxing tp msh tetap dlm keadaan segel. mohon maaf kami tdk akan melayani komplain apabila aktivasi garansi sudah sesuai dengan invoice pembelian di tokopedia.  untuk para pembeli dgn  melakukan pembelian maka kami anggap sudah setuju dgn peraturan toko <br/><br/>JADILAH PEMBELI YG BIJAKSANA<br/></div>
         </span>
      </span>
      <button class="css-5lrz2e" data-testid="btnPDPSeeMore" type="button">Lihat Selengkapnya</button>
   </div>
</div>

实际上内容有一个“Lihat Selengkapnya”按钮<button class="css-5lrz2e" data-testid="btnPDPSeeMore" type="button">Lihat Selengkapnya</button>。如何触发该按钮以获取下面这段代码的全部内容？

desc = []
quotes = soup.find_all('div', {'role': 'tabpanel'})
for item in quotes:

    descs = item.find_all('div', {'class': 'css-1dwge1q'})
    for each in descs:
        desc.append(each.text)

但它无法抓取“Lihat Selengkapnya”下的内容

【问题讨论】：

这里是只想抓取内容还是找到内容后触发点击事件？
点击“Lihat Selengkapnya”按钮后抓取内容@sushanth

标签： python selenium web-scraping beautifulsoup html-parsing

【解决方案1】：

您无需单击，因为它已经存在于其中一个元素下

import requests
from bs4 import BeautifulSoup as bs
from pprint import pprint

r = requests.get('https://www.tokopedia.com/ofan-store8/xiaomi-redmi-9-ram-4-64gb-garansi-resmi-tam-purple?src=topads', headers = {'User-Agent':'Mozilla/5.0'})
soup = bs(r.content, 'lxml')
pprint(soup.select_one('[data-testid="lblPDPDescriptionProduk"]').get_text('\n'))

查看相同文本的另一种方式：

print([i.string.strip() for i in soup.select_one('[data-testid="lblPDPDescriptionProduk"]').children if i.string])

或

[i for i in soup.select_one('[data-testid="lblPDPDescriptionProduk"]').stripped_strings]

【讨论】：