【问题标题】:How to screen scrape a site with dialog based authentication?如何使用基于对话的身份验证筛选站点?
【发布时间】:2015-12-18 21:06:50
【问题描述】:

我想使用 Jsoup 来筛选网站的抓取内容。但我必须先登录该网站。在浏览到主页时,我会看到一个用户名和密码对话框。由于它不是表单,因此我在 Jsoup 中得到“未授权”页面作为响应。我尝试使用 firebug 查找 url,但我猜该对话框是在加载其他页面组件之前出现的。因此,我不知道我需要为用户名和密码字段传递哪些参数,也不知道我需要发布的服务。

这是一个基于 C# 的网站。我已经在几个 Sharepoint 站点中看到了这种身份验证机制。 我应该如何继续这种登录机制?

【问题讨论】:

标签: c# sharepoint jsoup screen-scraping


【解决方案1】:

听起来该页面正在使用基本身份验证。这发生在任何 HTML 发送到客户端之前,因此您在 firebug 中看不到它。

您需要在 http-header 中发送用户名和密码,这里有一个链接向您展示如何执行此操作: Jsoup connection with basic access authentication

【讨论】:

  • 我认为您可以使用CookieContainer 实现这一目标。
  • 谢谢。我研究了“基本身份验证”。但是当我尝试运行我的程序时,它给了我以下异常: - "main" java.io.IOException: Authentication failure 我已经交叉检查了它们是否正确的凭据。它也可以取决于我所在的网络吗?并不是说该网站不公开,但我记得当我在不同的网络中时收到了一个 html 响应,尽管那也是关于未授权的。
  • 好吧,您的回答帮助了我一些其他具有相同身份验证机制的网站。谢谢。
猜你喜欢
  • 2011-09-27
  • 2015-12-24
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-08-12
  • 1970-01-01
  • 2015-02-06
  • 1970-01-01
相关资源
最近更新 更多