站点地图未读取 javascript 链接

Question

我有一个奇怪的问题，这周大部分时间都在处理。

在我网站的页脚中，我使用 java 脚本使用随机链接

 <a class="default.php">Some Default Text</a>

而 javascript 是

 <script>
 (function(){
  var myLinks = [
{href: 'example.php?title=hello', text: 'example1'},
{href: 'example.php?title=hello2', text: 'example2'}
];
onload = function(){
var link, pageLinkClass = 'myLink', pageLinks = document.getElementsByTagName('a');
pageLinkClass = new RegExp('\\b' + pageLinkClass + '\\b');
for(var i = 0; i < pageLinks.length; ++i){
if(pageLinkClass.test(pageLinks[i].className)){
link = myLinks[Math.floor(Math.random() * myLinks.length)]
pageLinks[i].href = link.href;
pageLinks[i].firstChild.nodeValue = link.text;
pageLinks[i].target = '_self';
}
}
};
})();// JavaScript Document
</script>

（这是一个例子）

但是当我抓取我的网站以生成站点地图时，它只会将链接读取为 example.php?title=

而不是结尾部分。

提前致谢

Answer 1

您的爬虫不能/不解释 JavaScript。许多机器人和爬虫只会读取原始 HTML。 Google Bot 可以在一定程度上解释 JS，但我仍然不会依赖它。最好的办法是在服务器端生成链接。