【发布时间】:2015-06-15 16:00:29
【问题描述】:
我想制作一个应用程序,该应用程序将具有由 Web API 提供并由 knockoutjs 获取的页面内容。我应该如何处理我想被抓取的页面,当爬虫进入网站并正确集成到sails.js中时,是否有一个库可以制作静态html页面?
如果我可以将!# 留在网址之外,那就太好了,但这不是必需品
【问题讨论】:
-
您是否正在尝试专门为普通用户无法访问的爬虫创建内容?那肯定会有被视为隐身的风险。一般来说,您永远不应该考虑“如果用户代理是爬虫......”
标签: node.js seo web-crawler sails.js