【问题标题】:Can YQL parse web sites requiring cookie-based authentication?YQL 可以解析需要基于 cookie 的身份验证的网站吗?
【发布时间】:2010-01-13 03:43:39
【问题描述】:

首先,我的用例:

我正在尝试使用 YQL 的内置 XPATH 功能从 Yahoo! 抓取内容梦幻体育。它使用某种基于 cookie 的身份验证方案。基本上,顺序是:

1) 在 Yahoo! 上执行 HTTP GET登录页面 2) 解析响应中的隐藏输入,并使用您的 Yahoo! 执行 HTTP PUT!在表单 URL 上登录 3) 使用从第 2 步返回的 cookie 获取任何 Fantasy Sports!您有权访问的网站

我的问题是,YQL 是否支持这样做来抓取数据?我见过的唯一基于身份验证的示例使用 OAuth,但我还没有看到任何使用 YQL 使用基于 cookie 的身份验证方案来解析网站的示例

【问题讨论】:

    标签: http xpath yql


    【解决方案1】:

    您必须使用带有execute block 的开放表。

    您基本上编写了一些将在 YQL 的服务器上运行的 JavaScript 来执行您需要的所有逻辑。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-10-08
      • 2017-01-02
      • 2021-08-13
      • 1970-01-01
      • 2010-11-19
      • 2021-06-24
      相关资源
      最近更新 更多