我需要从使用框架的网站上抓取数据

Question

拜托，我希望你给我一些关于项目的方向，因为我迷路了，真的不知道从哪里开始。

我是 Python 的新手，但我已经编写了一个网页抓取脚本来从一些网站获取一些信息，使用 lxml 和 xpath 通过 HTML DOM 获取数据。

但现在，客户向我提出了挑战……

这个网站正在使用我必须获取数据的框架=（我不知道如何处理......

更复杂的是，该网站需要登录:(

如果有人可以帮助我提供一些信息，比如我必须从哪里开始？

是否可以从将数据显示到框架中的网站获取数据？

这是网址：https://www.bulkshared.com/online-ordering

我想将脚本指向“Pantry”部分，但 url 不显示路径 =(

你推荐我哪种脚本？我想使用 Python，但我必须使用 BS 吗？ Xpath？硒？

有人可以捐出你的一小部分时间来帮助我吗？

非常感谢你们的时间，伙计们！

Answer 1

import requests
from bs4 import BeautifulSoup
import re
import csv


def Login(url):
    with requests.Session() as req:
        r = req.get(url)
        soup = BeautifulSoup(r.content, 'html.parser')
        script = soup.find("script", type="text/javascript").text
        collectionId = re.search("collectionId\":\"(.*?)\"", script).group(1)
        metaSiteId = re.search("metaSiteId\":\"(.*?)\"", script).group(1)
        svSession = re.search("svSession\":\"(.*?)\"", script).group(1)
        data = {
            'email': 'test@test.com',
            'password': 'test123',
            'collectionId': collectionId,
            'metaSiteId': metaSiteId,
            'appUrl': 'https://www.bulkshared.com/online-ordering',
            'svSession': svSession
        }
        r = req.post(
            "https://www.bulkshared.com/_api/wix-sm-webapp/member/login", data=data)
        r = req.get(
            "https://api.wixrestaurants.com/v2/organizations/5716166580714419/full").json()
        return r


def Sorter():
    data = Login("https://www.bulkshared.com/")
    with open("result.csv", 'w', newline="", encoding="UTF-8") as f:
        writer = csv.writer(f)
        writer.writerow(["Name", "Price"])
        for item in data["menu"]["items"]:
            title = item["title"]["en_AU"]
            try:
                price = item["price"]
            except:
                price = "N/A"
            try:
                description = item["description"]["en_AU"].strip()
            except:
                description = "N/A"
            writer.writerow([title, description, price])


Sorter()

注意：写完代码后，我发现API 是完全公开的，不需要传递任何登录会话信息。

所以你可以直接调用它。

import requests
import json

r = requests.get(
    "https://api.wixrestaurants.com/v2/organizations/5716166580714419/full").json()

print(json.dumps(r, indent=4))