:) 今天决定暂停蜘蛛算法修改了, 从开始写已经快两个月的吧... 中间算法大改N次, 小改每天N次...
目前状况是, 广度优先, 512M内存可以抓取50W-100W页面, 本想能无限抓的... 最近一个月的持续改动目标, 理想还是理想呐...
对于CSDN之类大型网站采用办法是分目录索引.
之后再接着写吧. 最近被折磨坏了. 一个软件就是一个孩子, 会随着我的成长 成长的.
天佑它, 也佑我.
相关文章：