【问题标题】：Fast datacollection for price comparison用于价格比较的快速数据收集
【发布时间】：2011-07-12 12:07:46
【问题描述】：
我有一个价格比较网站，其中一些供应商没有任何当前的 API 来获取价格信息。到目前为止，我已经用 cURL 解决了它，因为它真的很慢，我将它们存储在最终用户从中获取它们的数据库中。
出于某些原因，我希望允许完全实时，从而通过最终用户命令获取价格，同时避免保留庞大的价格信息数据库。
哪种替代方案比当前的 cURL 解决方案更快更轻？
这里有没有人做过类似的事情并有这方面的经验？
【问题讨论】：
标签：
php
javascript
jquery
curl
【解决方案1】：
无论您做什么，手动获取价格所需的时间都不会改变。无论如何，这将是一个 HTTP 请求 + 解析响应。此外，如果您拥有大量用户，则必须使用缓存。
但是，您可以尝试使用以下技术间接解决问题：
- 当您想要显示实时数据时，对您的服务器进行 AJAX 调用（服务器将 cURL 并将解析的结果发送回您以更新页面）而不是重新加载页面。这将允许您在等待期间自定义（并有望改善）用户体验。
- 运行一个后台进程，该进程不时抓取您的供应商并缓存结果。如果用户在缓存数据过期之前请求此信息，您将能够立即满足请求。
- 调整上述过程以智能地抓取（在访问者人数达到高峰的时间段更频繁地抓取，根据用户实际请求此信息的频率或多或少地抓取供应商和/或产品等）。