鉴于流中的一系列 URL，其中数百万可能是 bit.ly、google 或 tinyurl 缩短链接，解决这些链接以获得最终 URL 的最具可扩展性的方法是什么？
多线程爬虫对每个短链接执行 HEAD 请求，同时缓存您已经解析的链接？是否有已经提供此功能的服务？
还要考虑不被网址缩短服务阻止。 假设规模为每天 2000 万个短网址。
【问题讨论】：
标签： java performance scala scalability
谷歌provides an API。 bit.ly 也是如此（并且 bit.ly 要求通知重度使用，并指定轻量使用的含义）。我不知道 tinyurl（用于解码）的适当 API，但可能有一个。
然后您必须以每秒 230 个 URL 的顺序获取，以跟上您想要的速率。我会测量每个服务的典型延迟，并根据需要创建一个主角色和尽可能多的工作角色，以便角色可以阻止查找。 （我会为此使用 Akka，而不是默认的 Scala 演员，并确保每个工人演员都有自己的线程！）
您还应该在本地缓存答案；查找已知答案比向这些服务询问答案要快得多。 （主要演员应该注意这一点。）
在那之后，如果您仍然无法跟上，例如，被网站限制，您最好要么与网站交谈，否则您将不得不做一些相当有问题的事情（租一堆不同站点的廉价服务器并将请求分流给它们）。
【讨论】：
使用 HEAD 方法是一个有趣的想法，我担心它会失败，因为我不确定你提到的服务是否支持 HEAD。例如，如果服务实现为 java servlet，则它只能实现 doGet()。在这种情况下，不支持 doHead()。
我建议您尝试使用 GET 但不要阅读整个响应。仅读取 HTTP 状态行。
只要您对性能有非常严格的要求，您就不能同步这些请求，即您不能使用 HttpUrlConnection。您应该直接使用 NIO 包。在这种情况下，您将能够仅使用一个线程向所有数百万个目的地发送请求，并非常快速地获得响应。
【讨论】：