【发布时间】：2015-08-06 05:50:12
【问题描述】：
您好，我正在尝试使这个基本的爬虫工作，它应该去一个网站填写“城市”和“区域”，搜索餐馆并返回 html 页面。
这是我正在使用的代码
payload = OrderedDict([('cityId','NewYork'),('area','Centralpark')])
req = requests.get("http://www.somewebsite.com",params=payload)
f = req.content
soup = BeautifulSoup((f))
这是源 HTML 的样子
当我检查生成的汤变量时，它没有搜索结果，而是仅包含来自第一页的数据，其中包含输入城市和区域值的表单（即 www.somewebsite.com，我想要的是www.somewebsite.com?cityId=NewYork&area=centralPark) 的结果。所以我必须通过该参数传递什么才能显式按下搜索按钮，或者是否有任何其他方法可以使其工作。
【问题讨论】：
-
我认为您使用了错误的 GET URL！
action的形式为/location-suggestions。所以你的网址应该是这样的www.somewebsite.com/location-suggestions?cityId=NewYork&area=centralPar -
那么你建议我做什么...我尝试将我的网址更改为 somewebsite.com/location-suggestions ，但结果没有变化
-
也许您尝试抓取的网站需要有效的 cookie。尝试创建一个
session并将其用于GET请求。抱歉，如果没有网站在 i 上进行测试，我将无能为力！
标签： python get web-scraping python-requests scraper