【发布时间】:2011-06-27 19:54:21
【问题描述】:
我正在做一个网络爬虫,我不想让服务器的请求超载,所以我会按时间限制对服务器的访问。
我将拥有一个对象/集合,它是我将访问的链接列表。
我获得了第一个链接,它来自 Google(示例),请访问并完成所有工作。我只能在 20 秒后获取另一个来自 Google 的链接(示例),在等待期间,我会获取来自其他域的链接。
总之,我需要一个集合,让我可以对其中的对象进行分类,并以确定的间隔从中获取对象。
还有一些类似的吗?如果不是,建议在实现中使用哪些集合?这个集合将被各种线程访问。
【问题讨论】:
-
这是智能地图/减少作业的完美示例。
标签: java collections thread-safety web-crawler timedelay