【问题标题】:Lightest single page scraper最轻的单页刮板
【发布时间】:2017-10-03 10:36:17
【问题描述】:

有些网站会发布一些不断变化的数据。没有 api,但我需要在 js 中以编程方式访问该值。这对我来说是一个常见的问题。

我正在编写一个简单的 js 脚本(HTML/js)hackyAPI,HTML/js 或客户端足以满足我想要对数据进行的任何操作。

但问题在于 XMLHttpRequest 和跨服务器权限。我不想仅仅为此而介绍服务器元素。考虑到我只想要一个典型的 html 响应,是否有解决方法?

【问题讨论】:

  • 这里没有避免服务器元素。浏览器非常限制。
  • 您可以通过您的服务器代理请求以克服 CORS 资源保护机制 - 除了从服务器向服务器发出请求之外,没有其他方法可以绕过资源保护 - 这将导致您的服务器使用更多带宽超过您可能想要的,如果您认为这是一个问题,请考虑一些智能缓存

标签: javascript ajax xmlhttprequest


【解决方案1】:

浏览器明确强制执行 CORS 限制以防止此类脚本(以及更多恶意 XSS 脚本);运行该站点的任何人都在提供这些资源(并付费为它们提供服务),因此除非他们提供公共 API,否则以您似乎试图做的方式使用这些数据并不公平。在这种特殊情况下,它似乎与网站的服务条款直接冲突。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-03-20
    • 1970-01-01
    • 1970-01-01
    • 2010-11-18
    • 2021-05-01
    • 1970-01-01
    • 2021-06-14
    相关资源
    最近更新 更多