【发布时间】：2017-05-23 06:56:50
【问题描述】：
如何动态获取机器人列表或我需要服务获取机器人列表以在没有机器人爬虫的情况下查看视图。
像这样：Detecting honest web crawlers，但是我想获得动态机器人列表（最新机器人）。
感谢支持， TuanTH
【问题讨论】：
标签： c# asp.net asp.net-mvc
【发布时间】：2017-05-23 06:56:50
【问题描述】：
您可以从http://www.user-agents.org/ 等 XML 源更新您的爬虫列表
【讨论】：