Python dryscrape 用 cookie 刮页面答案

【问题标题】：Python dryscrape scrape page with cookiesPython dryscrape 用 cookie 刮页面
【发布时间】：2016-04-23 11:09:00
【问题描述】：

我想从网站获取一些数据，需要登录。
我通过请求

url = "http://example.com"
response = requests.get(url, {"email":"a@gmail.com", "password":"12345"})
cookies = response.cookies

然后我想从一些 JS 页面获取数据。通过 requests 这是不可能的，所以我必须使用 dryscrape。

import dryscrape
url = "http://example.com/js-page"
sess = dryscrape.Session()
sess.visit(url)

是否可以将 cookie 传递给 visit() 或者我必须寻找其他解决方案？

【问题讨论】：

你找到答案了吗？
如果您尝试加载网页（.js 或 .html 的工作方式相同），那么您可以使用此处的解决方案：stackoverflow.com/questions/1825438/…
等一下，你的意思是要获取javascript修改后的内容吗？
@TadhgMcDonald-Jensen 我需要使用 JS 访问页面，这需要登录名/密码。所以我用requests登录，我想保存cookie并将它们传递给dryscrape。

标签： python web-scraping python-requests

【解决方案1】：

为什么不用dryscrape登录？

session = dryscrape.Session()
session.visit('<url_where_is_login_form>')
name = session.at_xpath('//*[@name="username"]') # Where <input name="username">
name.set("<login>")
password = session.at_xpath('//*[@name="password"]') # Where <input name="password">
password.set("<password>")
# Push the button
name.form().submit()
session.visit("<url to visit with proper cookies>")

【讨论】：