【发布时间】：2015-07-10 16:15:48
【问题描述】：
Travelocity 和 TripAdvisor 等网站如何搜索数百个网站以查找产品定价信息？像这样的网站是否使用网络爬虫/爬虫/算法？如果是这样，哪种语言最适合编程？
【问题讨论】：
-
您是专门询问旅行还是类似的网站？
-
问问 Trivago 的人。他可能在某个公共汽车站闲逛，看起来很粗略，无事可做。
-
@Brad 没有专门询问旅行，只是询问一般工作中的此类网站。
-
这是一个询问如何为 torrent 搜索引擎做的问题。理论上可以为任何其他子字段完成：How do websites like torrentz.eu collect their content?
-
我想像这样的广泛而散漫的问题可能已经在 Quora 上得到了回答。你在那里查过吗？如果不是，我怀疑它是主题（尽管更多细节总是好的）。
标签： html algorithm web web-crawler