【发布时间】:2018-08-21 21:36:22
【问题描述】:
我正在做一个项目,在该项目中我继承了一些代码,这些代码使用 python 的“请求”库登录网站并从网站上抓取内容。 “登录”代码利用后端 URL 将凭据发布到端点。 (工作正常)
该站点的另一部分没有后端 URL。它只有一个表格,需要输入密码才能访问数据。下面是div代码
<input class="form-control" type="password" placeholder="Enter your
PIN number" id="pin" style="width:200px; float:left; display:inline;"
onkeypress="testPinEntry(event);">
<a id="pin_verify" style="float:left; clear:none; height:34px;" class="btn-
glow primary login" href="#" onclick="verify_pin();">Verify PIN</a>
有人知道使用请求库输入数据并按下按钮的好方法吗?我的倾向是使用 xpath 并从那里开始(我非常熟悉编写 scapers - https://github.com/1jkunz1/MLB-Sabermetrics-Scraper/blob/master/src/scraper.py)
我真的不想在这项任务中使用 selenium,因为我不希望项目依赖它,但我能找到的大多数解决方案似乎更喜欢 selenium。
【问题讨论】:
-
requests发出请求。它不运行 Javascript。
标签: javascript python html python-requests scraper