【发布时间】:2011-02-05 16:38:13
【问题描述】:
我想知道这是一个城市故事还是事实。
我听说网络爬虫在检查网络上的页面时会在一段时间后终止以捕获可用代码(例如 html)并去检查另一个页面。因此,如果 JS 代码在头部,我将失去很大一部分用于捕获的保留时间。
如果是这样,最好将 JS 放在头上,但可能放在底部,在 $(document).ready() 这样的 jQuery 语法中。
你能告诉我什么吗?谢谢大家!
【问题讨论】:
-
JavaScript 应该在一个单独的文件中,以便爬虫可以决定是否要下载它。
-
@Radek S 虽然我原则上同意,但有时您必须在 HTML 中包含它。 @markzzz 如果你在搞乱 DOM,最好把它放在一个文档就绪块中。
-
只有两个爬虫不再重要(Google 和 Bing),它们都不会只读取页面的一小部分然后离开。除非你特意构建了世界上最大的 500MB 的 HTML 网页,否则整个网页都会被阅读。
-
@Dan Yahoo!在亚洲被许多人使用。其余的我完全同意。
-
雅虎!不再运行他们自己的搜索引擎,它只是显示 Bing 结果。
标签: javascript jquery html seo web-crawler