【发布时间】:2015-05-13 10:12:17
【问题描述】:
我正在尝试为 Google 爬虫优化我的 AJAX 片段链接(其中替换 "#!..." 与 "?_escaped_fragment_=..." 的链接,如 here 所述)。我想检查整个网站是否可以通过我实现的_escaped_fragment_ 链接访问。
我很好奇是否可以使用wget递归站点下载到此并使其替代"#!"与"_escaped_fragment_"链接,以便wget看到
abc.com?_escaped_fragment=arg=value
而不是
abc.com#!arg=值
【问题讨论】:
标签: ajax linux web web-crawler wget