我想从少数几个交易所检索所有股票 - 通过检索这些交易所内的股票（通过从 http://www.nasdaq.com/screening/company-list.aspx 获取）。
然后我会为所有来自谷歌或雅虎的股票报价。
我的问题是，如果我每 5 秒或 10 秒引用一次所有这些 - 他们会阻止我吗？
获取所有股票及其更新数据的正确方法是什么？
谢谢！
【问题讨论】：
标签： yahoo-finance google-finance
大卫，
tl;dr - 如果您在代码中插入暂停，雅虎金融是可以的（刮掉 2,000 只股票）
我有一些笨拙但有效的代码（我第一次尝试报废），可以从雅虎财经中提取一些数据。虽然我不喜欢该代码并且我将在接下来的几周内为 nasdaq.com 重写它，但我可以告诉你我没有被阻止。
我有几年前的罗素 2000 股票清单，所以我正在慢慢查看大约 2,000 个股票代码，并从资产负债表中提取一些数据。我正在使用 Selenium（请参阅我的问题历史记录，只有一个可以查看/获取工作代码），代码加载 Chromium 网络浏览器（Linux）点击资产负债表，抓取一些数据，点击季度链接，抓取更多数据然后关闭浏览器。对于每个股票代码（股票）。
为了安全起见，我在代码中设置了几次暂停，我在网站上添加的每个剪贴簿留言或导航都在 5 到 10 秒之间。这样我就可以慢慢地抓取数据，而雅虎似乎对此没问题 :-) 每个股票大约需要一分钟。我正在运行这个报废工作（第一次！）现在已经超过 30 小时了，哈哈，我目前处于以 T 开头的股票代码，所以我还有几个小时要走。
我在某处读到一些网站也可以发现这种缓慢的抓取。因此，作为一个想法，您可以在 IDK 之间运行 7-15 秒之间的随机数生成器，而不是仅仅说 7 秒的硬代码暂停，这样暂停将更加随机且不易被发现……只是希望即使有延迟，这也会有所帮助。
啊，如果这个答案对你有帮助，请把它标记为已解决并投票。也许我可以得到一两分。我的积分太低了，我什至无法投票给我喜欢的其他对我有帮助的帖子。
【讨论】：