纯粹用 Javascript 制作网络爬虫和链接树答案

【问题标题】：Making to make a web crawler and a link tree purely in Javascript纯粹用 Javascript 制作网络爬虫和链接树
【发布时间】：2012-04-13 10:23:18
【问题描述】：

在我的一项任务中，我必须制作一个网络爬虫，完全使用 JavaScript。这意味着，输入将是一个 URL，输出将是从该页面开始的所有链接的树。我使用了使用 YQL 的插件 https://github.com/padolsey/jQuery-Plugins/tree/master/cross-domain-ajax/，它可以获取网站上的所有链接。（就像我为 Google 主页所做的那样，http://deepakpathak.in/langoor/linkfinder.html）。但是，我无法从中制作树形结构。有没有其他更简单的方法来制作给定网站的链接树，并且在 Javascript 中？

【问题讨论】：

目的是制作站点地图还是什么？
@Spoike 不完全是网络蜘蛛，而是站点导航器，用于编辑器，侧边栏上有树形导航。

标签： javascript web cross-domain web-crawler

【解决方案1】：

你没有提到你想要做什么样的树，输出应该是某种网站上的树列表组件还是你想把它放在数据库中？

但是，您可以使用普通的旧 javascript 对象和数组来创建您的 tree（查看树数据结构上的任何注释以了解它们是如何工作的，有很多方法可以表示它们）。为了让您开始，一个基本的树可以如下所示（使用createNode 函数）：

var createNode = function(content) {
    return {
        'nodes': [], // children are put here
        'content': content // puts the content here
    };
};

var treeroot = createNode();
    // create the root node of the tree
    // content is undefined

treeroot.nodes.push(createNode(myTreeNode)); 
    // accesses the nodes array and pushes a new node into the root node
    // content in that node will be whatever "myTreeNode" is

您必须自己编写遍历算法，因为 javascript 没有任何函数来处理树。或者使用 DOM 本身创建树（因为它是树数据结构）。

【讨论】：