在 Python 和 Beautiful Soup Web Scraping 中提取 Javascript 变量对象数据

Question

我目前可以从我使用请求然后 Soup 发送的发布请求中抓取 Javascript 数据。但我只想抓取产品 plu、sku、描述和品牌。我正在努力寻找一种方法来打印我需要的数据而不是整个脚本。这是我使用汤提取脚本后打印的文本。我将从多个帖子请求中抓取多个产品，因此块的想法并不适合。

<script type="text/javascript">
var dataObject = {

platform: 'desktop',
pageType: 'basket',
orderID: '',
pageName: 'Basket',
orderTotal: '92.99',
orderCurrency: 'GBP',
currency: 'GBP',
custEmail: '',
custId: '',
items: [

                {


                        plu: '282013',
                        sku: '653460',
                    category: 'Footwear',
                     description: 'Mayfly Lite Pinnacle Women&#039;s',
                     colour: '',
                     brand: 'Nike',
                     unitPrice: '90',
                     quantity: '1',
                     totalPrice: '90',
                     sale: 'false'
                }                                                       ]

};

如您所见，信息太多了。

Answer 1

这个怎么样：

1. 您将捕获的文本分配给一个名为“chunk”的新多行字符串变量
2. 列出您要查找的密钥

3. 遍历每一行以检查该行是否有您想要的术语，然后打印出该术语：

   chunk = '''
   <script type="text/javascript">
   var dataObject = {
   .........blah blah.......
     plu: '282013',
     sku: '653460',
     category: 'Footwear',
     description: 'Mayfly Lite Pinnacle Women&#039;s',
     colour: '',
     brand: 'Nike',
     ..... blah .......
     };'''
   
   keys = ['plu', 'sku', 'description', 'brand']
   
   for line in chunk.splitlines():
     if line.split(':')[0].strip() in keys:
       print line.strip()
   

结果：

plu: '282013',
sku: '653460',
description: 'Mayfly Lite Pinnacle Women's',
brand: 'Nike',

您显然可以使用split、strip、replace 等类似的应用程序来清理结果。