这两周学习了巡风扫描器的搭建，也在学长的带领下看了各部分的下源代码，为了加深记忆，梳理一下巡风大体的工作流程，主要通过web端的页面分析，错误的地方还请大佬们多多指正。
整体看一下巡风的扫描流程：登陆->配置页面进行配置->到统计页面查看记录总数、IP总数、以及漏斗分析->到搜索页面输入搜索条件->选中一个或多个搜索结果，右上角新增任务->输入任务名称，选择插件->点击任务名称，即可查看任务详情
一：登陆页面
看一下后端的登陆函数，获取前端输入的用户名、密码，并通过app验证，app在__init.py__这个脚本里被初始化，是连接数据库的对象。
# 登录 @app.route(\'/login\', methods=[\'get\', \'post\']) def Login(): if request.method == \'GET\': return render_template(\'login.html\') else: # 获取前端输入的用户名密码 account = request.form.get(\'account\') password = request.form.get(\'password\') if account == app.config.get(\'ACCOUNT\') and password == app.config.get(\'PASSWORD\'): session[\'login\'] = \'loginsuccess\' return redirect(url_for(\'Search\')) else: return redirect(url_for(\'Login\'))
二：配置页面
登录之后，点击配置页面，默认是爬虫引擎配置，还有一种是扫描引擎配置，后端是通过get请求的参数区分，在配置页面，可以自定义扫描方式、线程数、超时时间、资产列表等。更改配置后，后端通过UpdateConfig这个视图函数更新配置，
下面让看下每一项配置的作用：
资产探测周期配置：
每天固定的时间点扫描，进行资产探测收集。
网络资产探测列表配置
在这个地方，可以设置需要探测的内网的地址段，可以设置成图中格式，也可以设置成cidr(https://www.cnblogs.com/liangxiyang/p/11628000.html)地址格式，另外，探测列表一旦更改，则会立即触发扫描，进行资产收集。
启用MASSCAN
启用端口探测列表配置：
这两个配置都是用来探测端口的，默认是ICMP方式，只对存活的IP地址进行指定端口的探测，MASSCAN方式探测1-65535的端口，第一个方框内为路径地址，第二个方框内为发包速率。
服务类型识别配置：
用于识别开放端口上所运营的服务。
cms识别规则配置：
CMS英文全称是：Content Management System 中文名称是： 网站内容管理系统 (CMS最擅长的就是建设网站，最流行的CMS有：国外的：Wordpress，Drupal，Joomla，这是国外最流行的3大CMS。国内则是DedeCMS和帝国，PHPCMS等)。CMS识别原理就是得到一些CMS的一些固有特征，通过得到这个特征来判断CMS的类别。 比如使用MD5识别和正则表达式识别的方式，就是用特定的文件路径访问网站，获得这个文件的MD5或者用正则表达式匹配某个关键词，如果匹配成功就说明这个是这个CMS。 所以，这个识别的成功率是根据我们的字典来的。
代码语言识别规则配置：
用于识别web网站的开发语言，通过响应头、文件等
组件容器识别配置：
用于识别web的容器、中间件等组件。对容器、中间件等不了解，网上搜了一下：容器作为操作系统和应用程序之间的桥梁，给处于其中的应用程序组件提供一个环境，使应用程序直接跟容器中的环境变量交互，不必关注其它系统问题。
下面是配置更新页面的视图函数以及数据库里面的内容：
# 配置更新异步 @app.route(\'/updateconfig\', methods=[\'get\', \'post\']) @logincheck def UpdateConfig(): rsp = \'fail\' name = request.form.get(\'name\', \'default\') # 配置名 value = request.form.get(\'value\', \'\') # 配置值 conftype = request.form.get(\'conftype\', \'\') # 配置类型 print name,"\n",value,"\n",conftype # 根据name来判断是哪个配置，就从数据库去取对应的值，然后把提交过来的value加上去更新 # 如果三个值都存在 if name and value and conftype: # 判断所要更新的配置 # 端口列表或MAsscan配置 if name == \'Masscan\' or name == \'Port_list\': origin_value = Mongo.coll[\'Config\'].find_one({\'type\': \'nascan\'})["config"][name]["value"] value = origin_value.split(\'|\')[0] + \'|\' + value # 判断是否启用存活探测ICMP elif name == \'Port_list_Flag\': name = \'Port_list\' origin_value = Mongo.coll[\'Config\'].find_one({\'type\': \'nascan\'})["config"][\'Port_list\']["value"] value = value + \'|\' + origin_value.split(\'|\')[1] # 判断是否启用MASSCAN elif name == \'Masscan_Flag\': name = \'Masscan\' path = Mongo.coll[\'Config\'].find_one({\'type\': \'nascan\'})["config"]["Masscan"]["value"] if len(path.split(\'|\')) == 3: path = path.split(\'|\')[1] + "|" + path.split(\'|\')[2] else: path = path.split(\'|\')[1] if value == \'1\': value = \'1|\' + path else: value = \'0|\' + path result = Mongo.coll[\'Config\'].update({"type": conftype}, {\'$set\': {\'config.\' + name + \'.value\': value}}) if result: rsp = \'success\' return rsp
三：统计页面
配置页面完成后，立即开始进行资产探测、可以在统计页面看到资产探测结果(获取数据库数据并在前端进行展示)：
下面是加了注释的视图函数源码
# 统计页面 @app.route(\'/analysis\') @logincheck def Analysis(): # distinct获取集合中指定字段的不重复值，以集合的形式返回,就是去重 ip = len(Mongo.coll[\'Info\'].distinct(\'ip\')) print \'ip总数\', ip # 获取数量 record = Mongo.coll[\'Info\'].find().count() print \'记录总数\', record # 获取任务数量 task = Mongo.coll[\'Task\'].find().count() print \'任务总数\', task # group是mongodb中自带的三种聚合函数之一 # count：简单统计集合中符合某种条件的文档数量。 # distinct：用于对集合中的文档针进行去重处理。 # group：用于提供比count、distinct更丰富的统计需求，可以使用js函数控制统计逻辑 vul = int(Mongo.coll[\'Plugin\'].group([], {}, {\'count\': 0},\'function(doc,prev){prev.count = prev.count + doc.count}\')[0][\'count\']) plugin = Mongo.coll[\'Plugin\'].find().count() print "插件总数", plugin vultype = Mongo.coll[\'Plugin\'].group([\'type\'], {"count":{"$ne":0}}, {\'count\': 0},\'function(doc,prev){prev.count = prev.count + doc.count}\') print "漏斗类型", vultype # sort根据date字段降序排列，limit指定读取的数据数量 cur = Mongo.coll[\'Statistics\'].find().sort(\'date\', -1).limit(30) trend = [] for i in cur: trend.append( {\'time\': i[\'date\'], \'add\': i[\'info\'][\'add\'], \'update\': i[\'info\'][\'update\'], \'delete\': i[\'info\'][\'delete\']}) # 找到Heartbeat集合中的两个文档 vulbeat = Mongo.coll[\'Heartbeat\'].find_one({\'name\': \'load\'}) scanbeat = Mongo.coll[\'Heartbeat\'].find_one({\'name\': \'heartbeat\'}) if vulbeat == None or scanbeat == None: taskpercent = 0 taskalive = False scanalive = False else: taskpercent = vulbeat[\'value\'] * 100 taskalive = (datetime.now() - vulbeat[\'up_time\']).seconds scanalive = (datetime.now() - scanbeat[\'up_time\']).seconds taskalive = True if taskalive < 120 else False scanalive = True if scanalive < 120 else False # aggregate主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。 server_type = Mongo.coll[\'Info\'].aggregate( [{\'$group\': {\'_id\': \'$server\', \'count\': {\'$sum\': 1}}}, {\'$sort\': {\'count\': -1}}]) web_type = Mongo.coll[\'Info\'].aggregate([{\'$match\': {\'server\': \'web\'}}, {\'$unwind\': \'$webinfo.tag\'}, {\'$group\': {\'_id\': \'$webinfo.tag\', \'count\': {\'$sum\': 1}}}, {\'$sort\': {\'count\': -1}}]) #把数据传到analysis.html页面进行渲染 return render_template(\'analysis.html\', ip=ip, record=record, task=task, vul=vul, plugin=plugin, vultype=vultype, trend=sorted(trend, key=lambda x: x[\'time\']), taskpercent=taskpercent, taskalive=taskalive, scanalive=scanalive, server_type=server_type, web_type=web_type)
三：搜索页面
资产探测完成后，就可以根据搜索规则，搜索需要的端口，ip等。
比如：查看所有开放25端口的IP，在搜索框输入port:25。 查看指定IP、IP段等
前端输入搜索条件后，后端在search.html接受，并命名为q：
<input type="text" class="form-control" placeholder="Example: ip: 192.168.1.1; port: 22" style="color: #797979;" id="filter" name="q">
搜索完成后，会直接对结果展示
四：任务页面
搜索出结果后，可以选中其中的一个或多个(作为目标)，然后新增任务，选择插件类型,根据选择的插件数量创建任务，后端就会进行任务扫面扫描，点击任务名称，即可查看该任务的详情。
下面是加了注释的视图函数源码
# 新增任务异步 @app.route(\'/addtask\', methods=[\'get\', \'post\']) @logincheck def Addtask(): # 先获取了页面传了的值 先默认result为fail # 没有plugin的话直接返回fail # 有的话，先判断结果集是否全选，将结果集的ip和port都加入列表，否则将当前页的ip将入列表。 title = request.form.get(\'title\', \'\') # 任务名称 plugin = request.form.get(\'plugin\', \'\') # 从插件列表里所选择的插件 condition = unquote(request.form.get(\'condition\', \'\')) # 所选结果的ip地址 print 222222,condition plan = request.form.get(\'plan\', 0) # 执行周期 print 33333,plan ids = request.form.get(\'ids\', \'\') # 所选地址的 ip:端口 print 44444,ids isupdate = request.form.get(\'isupdate\', \'0\') # 是否自动更新列表 resultcheck = request.form.get(\'resultcheck\', \'0\') # 结果集是否全选 print title,plugin,condition,plan,ids,isupdate,resultcheck result = \'fail\' if plugin: targets = [] if resultcheck == \'true\': # 结果集全选 list = condition.strip().split(\';\') print list query = querylogic(list) cursor = Mongo.coll[\'Info\'].find(query) for i in cursor: tar = [i[\'ip\'], i[\'port\']] targets.append(tar) else: # 当前页结果选择 for i in ids.split(\',\'): tar = [i.split(\':\')[0], int(i.split(\':\')[1])] targets.append(tar) temp_result = True for p in plugin.split(\',\'): query = querylogic(condition.strip().split(\';\')) item = {\'status\': 0, \'title\': title, \'plugin\': p, \'condition\': condition, \'time\': datetime.now(), \'target\': targets, \'plan\': int(plan), \'isupdate\': int(isupdate), \'query\': dumps(query)} # 插入到数据库 insert_reuslt = Mongo.coll[\'Task\'].insert(item) if not insert_reuslt: temp_result = False if temp_result: result = \'success\' return result
五：插件页面
插件的展示主要是获取数据库内容，并传到前端，主要看一下插件的增加
# 插件列表页 @app.route(\'/plugin\') @logincheck def Plugin(): # 获取前端页面 page = int(request.args.get(\'page\', \'1\')) print 1111,page # 从数据库里面找到有关插件数据 cursor = Mongo.coll[\'Plugin\'].find().limit(page_size).skip((page - 1) * page_size) # 在前端页面展示 return render_template(\'plugin.html\', cursor=cursor, vultype=cursor.distinct(\'type\'), count=cursor.count())
插件有两种格式，一是json格式，二是py脚本格式。
json格式的上传较为简单，只需要在前端填写对应的内容就行
而py脚本方式，则需要按指定的格式编写代码，大概如下：
def get_plugin_info(): plugin_info = { "name": "MySQL弱口令", "info": "导致数据库敏感信息泄露，严重可导致服务器直接被入侵。", "level": "高危", "type": "弱口令", "author": "wolf@YSRC", "url": "", "keyword": "server:mysql", "source": 1 } return plugin_info def get_hash(password, scramble): hash_stage1 = hashlib.sha1(password).digest() hash_stage2 = hashlib.sha1(hash_stage1).digest() to = hashlib.sha1(scramble + hash_stage2).digest() reply = [ord(h1) ^ ord(h3) for (h1, h3) in zip(hash_stage1, to)] hash = struct.pack(\'20B\', *reply) return hash def get_scramble(packet): tmp = packet[15:] m = re.findall("\x00?([\x01-\x7F]{7,})\x00", tmp) if len(m) > 3: del m[0] scramble = m[0] + m[1] try: plugin = m[2] except: plugin = \'\' return plugin, scramble def get_auth_data(user, password, scramble, plugin): user_hex = binascii.b2a_hex(user) pass_hex = binascii.b2a_hex(get_hash(password, scramble)) if not password: data = "85a23f0000000040080000000000000000000000000000000000000000000000" + user_hex + "0000" else: data = "85a23f0000000040080000000000000000000000000000000000000000000000" + user_hex + "0014" + pass_hex if plugin: data += binascii.b2a_hex( plugin) + "0055035f6f73076f737831302e380c5f636c69656e745f6e616d65086c69626d7973716c045f7069640539323330360f5f636c69656e745f76657273696f6e06352e362e3231095f706c6174666f726d067838365f3634" len_hex = hex(len(data) / 2).replace("0x", "") auth_data = len_hex + "000001" + data return binascii.a2b_hex(auth_data) def check(ip, port, timeout): socket.setdefaulttimeout(timeout) user_list = [\'root\'] for user in user_list: for pass_ in PASSWORD_DIC: try: pass_ = str(pass_.replace(\'{user}\', user)) sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect((ip, int(port))) packet = sock.recv(254) # print packet plugin, scramble = get_scramble(packet) auth_data = get_auth_data(user, pass_, scramble, plugin) sock.send(auth_data) result = sock.recv(1024) if result == "\x07\x00\x00\x02\x00\x00\x00\x02\x00\x00\x00": return u"存在弱口令，账号：%s，密码：%s" % (user, pass_) except Exception, e: if "Errno 10061" in str(e) or "timed out" in str(e): return
其中get_plugin_info()与check()方法是必须的，用来获取插件信息和检查。
***************不积跬步无以至千里***************