提取JS_URL的正则部分使用的是JSFinder
提取URL的正则部分使用的是dirmap
网页URL探测脚本，因觉得Burpsuite的爬虫不爽，就自己写了一个爬虫脚本。
可以通过设置目标站点进行获取网站的全部URL。
注：如发现bug请联系我~ [email protected]
下载链接
优势：
通过目标站点进行URL的爬取；
多线程效率可自定义；
爬取深度可自定义；
可爬取JS文件中的URL；
获取子域名。
解决问题：
从网站上收集域名；
发现不容易找到的目录。
后期扩展：
可进行分布式部署。通过主控发送目标URL。
使用技术
Redis去重
DB0 用来存放全部爬取过的URL，查重使用的数据库
DB1 存放当前目标的URL写入Mysql数据库后清空
DB2 存放爬取不同的域名
Re正则匹配
xpath匹配
多线程
流程图
用法