抓取股价信息有多安全答案

【问题标题】：How Safe Is It To Scrape Stock-Price Information抓取股价信息有多安全
【发布时间】：2009-05-07 14:25:49
【问题描述】：

据我所知，没有针对股票价格信息的开发者 API 服务，其规定如下：

所以我发现我不得不看刮。似乎最容易“抓取”的是 Yahoo 的 CSV 服务，该服务链接到 StackOverflow 上的其他地方：

这实际上很容易解析。但我想知道这是多么脆弱，很明显，如果雅虎删除了这项服务，或者改变了一些东西，或者严格限制了查找的数量，那么我构建的客户端可能会受到影响。

其他人会如何解决这个问题，还是仅仅是因为数据太有价值而无法以我的价格获得？我已经搜索了一个相当可靠的、延迟 20 分钟的服务，但根本找不到一个看起来在 6 个月后仍会出现的服务。

非常感谢任何建议。

【问题讨论】：

【解决方案1】：

您看过 Google 的 Market Data API 吗？

【讨论】：

【解决方案2】：

“数据太有价值了，我的价格买不到？”

正确。

考虑一下。财富是通过这些信息创造（和失去）的。您正在与大型银行和股票经纪服务竞争。这些公司 (a) 财力雄厚，可以购买、出售和保护此类信息，并且 (b) 有动力将这些信息尽可能保密，以加强对股票交易的严格控制。

【讨论】：

【解决方案3】：

你需要小心。除了对网站 ui 的正常依赖外，我还收到了来自网站的警告。他们有一项反对屏幕抓取的网站政策，我突然同意使用该网站，并且他们看到了我对该网站的定期点击。

【讨论】：

【解决方案4】：

为此有很多低成本的服务。我喜欢 csidata.com。

但是（这是一个很大的但是）.....如果您计划重新分发数据（将其发布在网站上，从 iPhone 应用程序访问它，几乎任何东西，除了使用在那台机器上），您将支付大笔（如，比您想象的要大）美元。

交易所通过出售这些数据来赚钱。

如果您打算经营一家企业，不要计划能够抓取 yahoo 或其他地方并重新分配它。一旦他们发现你，你就会被关闭。

【讨论】：

【解决方案5】：

我推荐 IQFeed（付费）、esignal（付费）或 eoddate.com（免费选项）。我的公司使用 IDC，但我似乎无法找到有关他们提供的子服务的任何信息。

虽然我的印象是您试图避免为商业 Feed 付费，但您需要小心，您得到了您所支付的费用。

【讨论】：