【发布时间】:2014-03-03 22:47:42
【问题描述】:
我成功记录了网站的所有链接,但错过了一些只能通过表单发布(例如登录)才能看到的链接。
我所做的是记录所有没有登录的链接。并采取形式价值观。然后我发布了数据并记录了新的链接,但在这里我错过了不在该发布链接中的其他表单和链接。
请建议任何有效的算法,以便我可以通过发布表单数据来获取所有链接。
提前致谢。
【问题讨论】:
标签: python algorithm web hyperlink traversal
我成功记录了网站的所有链接,但错过了一些只能通过表单发布(例如登录)才能看到的链接。
我所做的是记录所有没有登录的链接。并采取形式价值观。然后我发布了数据并记录了新的链接,但在这里我错过了不在该发布链接中的其他表单和链接。
请建议任何有效的算法,以便我可以通过发布表单数据来获取所有链接。
提前致谢。
【问题讨论】:
标签: python algorithm web hyperlink traversal
一组网页中的链接可以看作是一个树形图,因此您可以使用各种树遍历算法,如深度优先和广度优先搜索来查找所有链接。链接和相关表单数据可以保存在队列或堆栈中,具体取决于您使用的遍历算法。
【讨论】: