<h2><strong>前言</strong></h2>    <p>长话短说，事情的起因是这样的，由于工作原因需要分析网站日志，服务器是windows，iis日志，在网上找了找，github找了找，居然没找到，看来只有自己动手丰衣足食。</p>    <h3>那么分析方法我大致可分为三种：</h3>    <p><strong>1. 基于时间：</strong> 将请求url按时间段分类，那么我们根据每个时间段的url数量及攻击数量就可以大致判断出哪个时间段有apt类型攻击，哪个时间段是扫描器行为；</p>    <p><strong>2. 基于攻击ip：</strong> 正常的攻击肯定会有请求被记录（当然你要是有0day当我没说，正常的探测总会有吧=。=！），然后每个ip去分析；</p>    <p><strong>3. 基于访问请求的状态码</strong> ，也大致可以判断出行为。</p>    <p>规则可以基于开源waf规则，分析扫描器写正则也可以，开源waf地址是</p>    <p><a href="/misc/goto?guid=4959737075351950366" rel="nofollow,noindex">https://github.com/loveshell/ngx_lua_waf/tree/master/wafconf</a> 。</p>    <p>扫描器正则 <a href="/misc/goto?guid=4959737075442198216" rel="nofollow,noindex">https://github.com/smarttang/w3a_SOCD</a> 的database里面有详细地址</p>    <p><a href="/misc/goto?guid=4959737075527688164" rel="nofollow,noindex">https://github.com/smarttang/w3a_SOC/tree/master/db_sql</a> 。</p>    <p>Sql语句里面有想把它做的功能全一些，但是学python学习时间也不是很长，写出来的代码也没有pythonic，会慢慢写的。目前分三个模块，一个日志归类模块命名为url.py，攻击分析模块attac.py， ip地理位置查询模块ipfind.py，还有一个主函数。</p>    <h3><strong>日志归类模块</strong> <strong>url.py</strong></h3>    <pre>  <code class="language-python"><strong>import </strong>re  <strong>import </strong>os  <strong>import </strong>sys  <strong>from </strong>datetime <strong>import </strong>datetime      dt = datetime.now()    date = str(dt.date())        loglist = []   <em># </em>iplist = []    <em># ip</em><em>统计 </em>urllist = []   <em># url</em><em>统计列表 </em>needlist = []   <em># </em><em>需要统计的 </em>errorlist = []   <em># </em><em>格式错误的列表 </em>ipdict,urldict = {},{}        rizhi = str(input(<strong>'</strong><strong>请输入要分析的日志文件名'</strong>))    <strong>def </strong>find_log():        print(<strong>'>>>>>>></strong><strong>开始解析日志'</strong>)        <strong>with </strong>open(rizhi,<strong>'r'</strong>,encoding=<strong>'UTF-8'</strong>,errors=<strong>'ignore'</strong>) <strong>as </strong>f:            <em>#loglist = f.readlines() </em><strong>for </strong>i <strong>in </strong>f.readlines():   <em># </em><strong>if </strong>i[0] != <strong>'#'</strong>:                    b = re.split(<strong>' '</strong>,i)                    iplist.append(b[10])                    urllist.append(b[6])                    <strong>try</strong>:                        needlist.append([b[10],b[1],b[5],b[6],b[15]])                    <strong>except</strong>:                        errorlist.append(i)        print(<strong>'>>>>>>></strong><strong>日志解析完毕'</strong>)    <strong>def </strong>count(iplist,urllist):    <em>#</em><em>统计ip url访问量函数 </em>print(<strong>'>>>>>>></strong><strong>开始分析url与ip访问量'</strong>)        <strong>global </strong>ipdict,urldict        <strong>for </strong>i <strong>in </strong>set(iplist):            ipdict[i] = iplist.count(i)        <strong>for </strong>i <strong>in </strong>set(urllist):            urldict[i] = urllist.count(i)          ipdict = sorted(ipdict.items(),key=<strong>lambda </strong>d: d[1], reverse=<strong>True</strong>)            urldict = sorted(urldict.items(),key=<strong>lambda </strong>d: d[1], reverse=<strong>True</strong>)        print(type(urldict))        iplist = list(ipdict)        urllist = list(urldict)        ipdict,urldict = {},{}        print(<strong>'>>>>>url</strong><strong>与ip分析完毕.......'</strong>)          <strong>return </strong>[iplist,urllist]    <strong>def </strong>save_count():        print(<strong>'>>>>>>></strong><strong>正在保存分析结果'</strong>)        ipname = <strong>'ip-'</strong>+date+<strong>'.txt' </strong>urlname = <strong>'url-'</strong>+date+<strong>'.txt' </strong><strong>with </strong>open(ipname,<strong>'w'</strong>) <strong>as </strong>f:            <strong>for </strong>i <strong>in </strong>iplist:                f.write(str(list(i))+<strong>'</strong><strong>\n</strong><strong>'</strong>)        <strong>with </strong>open(urlname,<strong>'w'</strong>) <strong>as </strong>f:            <strong>for </strong>i <strong>in </strong>urllist:                f.write(str(list(i))+<strong>'</strong><strong>\n</strong><strong>'</strong>)        print(<strong>'>>>>>>></strong><strong>分析结果保存完毕'</strong>)    find_log()    [iplist,urllist] = count(iplist,urllist)    save_count()</code></pre>    <p>iis日志和apache日志觉得都差不多，就是切割时候改一下就行了。</p>    <p><img src="https://simg.open-open.com/show/5f116eea05d16cf37b69cead531d2d5c.jpg"></p>    <p>Iis日志大概是这样的，用pythonreadlines然后切割出来就好了。</p>    <p>这个url.py我加了个功能把ip访问量及url访问量排序输出出来所以有点慢，=.=没办法野路子哪里会什么算法。将地址，时间，ip，状态码都扔进一个列表里就行了。</p>    <h3><strong>攻击分析模块attack.py</strong></h3>    <pre>  <code class="language-python"><strong>import </strong>os  <strong>import </strong>sys  <strong>import </strong>url      sqllist,xsslist,senlist = [],[],[]    otherurl,xssip,sqlip,senip = [],[],[],[]    feifa = []   <strong>def </strong>find_attack(needlist):        print(<strong>'>>>>>>></strong><strong>开始检测攻击'</strong>)        sql = <strong>r'product.php|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|^eval$|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|\(?:define|base64_decode\(|group\s+by.+\(|%20or%20|%20and%20|sleep|delay|nvarchar|exec|union|^select$|version|insert|information_schema|chr\(|concat|%bf|sleep\((\s*)(\d*)(\s*)\)|current|having|database' </strong>xss = <strong>r'alert|^script$|<|>|%3E|%3c|>|\u003c|\u003e|&#x' </strong>sen = <strong>r'\.{2,}|%2e{2,}|%252e{2,}|%uff0e{2,}0x2e{2,}|\./|\{FILE\}|%00+|json|\.shtml|\.pl|\.sh|\.do|\.action|zabbix|phpinfo|/var/|/opt/|/local/|/etc|/apache/|\.log|invest\b|\.xml|apple-touch-icon-152x152|\.zip|\.rar|\.asp\b|\.php|\.bak|\.tar\.gz|\bphpmyadmin\b|admin|\.exe|\.7z|\.zip|\battachments\b|\bupimg\b|uploadfiles|templets|template|data\b|forumdata|includes|cache|jmxinvokerservlet|vhost|bbs|host|wwwroot|\bsite\b|root|hytop|flashfxp|bak|old|mdb|sql|backup|^java$|class' </strong><strong>for </strong>i <strong>in </strong>needlist:            <strong>if </strong>i[2] == <strong>'POST' </strong><strong>or </strong>i[2] == <strong>'HEAD' </strong><strong>or </strong>i[2] == <strong>'GET'</strong>:                response = re.findall(sql,i[3],re.I)                <strong>if </strong>response == []:                    responsexss = re.findall(xss,i[3],re.I)                    <strong>if </strong>responsexss == []:                        responsesen = re.findall(sen,i[3],re.I)                        <strong>if </strong>responsesen == []:                            otherurl.append(i)                        <strong>else</strong>:                            senlist.append(i)                            senip.append(i[0])                            print(responsesen)                            print(<strong>'</strong><strong>检测出敏感目录扫描'</strong>)                            print(i)                    <strong>else</strong>:                        xsslist.append(i)                        xssip.append(i[0])                        print(responsexss)                        print(<strong>'</strong><strong>检测出xss攻击'</strong>)                        print(i)                <strong>else</strong>:                    sqllist.append(i)                    sqlip.append(i[0])                    print(responsexss)                    print(<strong>'</strong><strong>检测出sql攻击'</strong>)                    print(i)            <strong>else</strong>:                feifa.append(i[0])        print(<strong>'</strong><strong>非法请求:'</strong>+str(len(feifa))+<strong>'</strong><strong>次'</strong>+str(len(list(set(feifa))))+<strong>'</strong><strong>个ip'</strong>)        print(<strong>'>>>>>>></strong><strong>攻击检测完毕'</strong>)        <strong>return </strong>[xssip,sqlip,senip,sqllist,xsslist,senlist,otherurl]    这个就简单多了，基于正则分析的正则不是很完善，还有好多是根据自己公司情况来定，大牛轻喷，检索完毕返回ip及url。</code></pre>    <h3>IP 地理位置查询模块 ipfind.py</h3>    <p>Ipfind.py是查找ip地理位置的</p>    <pre>  <code class="language-python"><strong>import </strong>re  <strong>import </strong>urllib.request    <strong>def </strong>url_open(ip):        url = <strong>'http://www.ip138.com/ips138.asp?ip='</strong>+ip        response = urllib.request.urlopen(url)        html = response.read().decode(<strong>'gb2312'</strong>)        <strong>return </strong>html      <strong>def </strong>find_ip(html):        a = <strong>r'</strong><strong>本站数据.{20,}</li>' </strong>p = re.compile(a,re.I)        response = re.findall(p,html)        <strong>for </strong>i <strong>in </strong>response:            b = i        response = re.split(<strong>r'</li><li>'</strong>,b)        ipaddrs = str(response[0][5:])+<strong>','</strong>+str(response[1][6:])+<strong>','</strong>+str(response[2][6:-5])        <strong>return </strong>ipaddrs      <strong>def </strong>find_ipaddrs(ip):                html = url_open(ip)        ipaddrs = find_ip(html)          print(ip+<strong>' : '</strong>+ipaddrs)        这个简单我是直接像爬虫那样写的，用ip138的网址(接口没有找到，百度注册了好几次都不成功，有api的可以用api)。</code></pre>    <h2>主函数</h2>    <h3>主函数main.py</h3>    <pre>  <code class="language-python"><strong>import </strong>re  <strong>import </strong>os  <strong>import </strong>sys  <strong>from </strong>datetime <strong>import </strong>datetime  <strong>import </strong>url  <strong>import </strong>attack  <strong>import </strong>ipfind          needlist = url.needlist    sqllist,xsslist,senlist = [],[],[]    otherurl,iplist = [],[]      [xssip,sqlip,senip,sqllist,xsslist,senlist,otherurl]=attack.find_attack(needlist)    xssip = list(set(xssip))    sqlip = list(set(sqlip))    senip = list(set(senip))    print(<strong>'>>>>>>></strong><strong>检测出xss攻击'</strong>+str(len(xsslist))+<strong>'</strong><strong>次'</strong>+<strong>'</strong><strong>共计'</strong>+str(len(xssip))+<strong>'</strong><strong>个ip'</strong>)  print(xssip)  print(<strong>'>>>>>>></strong><strong>检测出sql攻击'</strong>+str(len(sqllist))+<strong>'</strong><strong>次'</strong>+<strong>'</strong><strong>共计'</strong>+str(len(sqlip))+<strong>'</strong><strong>个ip'</strong>)  print(sqlip)  print(<strong>'>>>>>>></strong><strong>检测出敏感目录扫描'</strong>+str(len(senlist))+<strong>'</strong><strong>次'</strong>+<strong>'</strong><strong>共计'</strong>+str(len(senip))+<strong>'</strong><strong>个ip'</strong>)  print(senip)    iplist = list(set(xssip+sqlip+senip))  print(len(iplist))    print(<strong>'</strong><strong>开始分析ip地理位置'</strong>)  <strong>for </strong>i <strong>in </strong>iplist:        ipfind.find_ipaddrs(str(i))</code></pre>    <p>要分析什么就把需要分析的和main.py放在一个目录下就行了</p>    <h2><strong>总结</strong></h2>    <p>脚本大概说了一遍，说说不足及怎么分析吧。</p>    <p>现实不足：看了差不多有3个月日志了吧，先说一个最严重的问题，post请求data看不见，本身日志就看不到data，何况等到https普及了日志什么样也不知道，要是有能力最好做成和waf联动那样的。还有就是未知威胁从waf来看基于正则，基于关键词有很多都是能绕过的，但是有攻击行为没删日志的话，肯定是会留下攻击痕迹的，这样可以从检测出来的ip来看具体攻击的url，而未知威胁则不同了，就好比一个0day，攻击waf没用了，日志分析看不出来了，那么只能依靠应急响应以及服务器的报警了。</p>    <p>还有好多攻击类型没有加入到里面，后期打算把判断攻击类型写成函数，拿if,else判断，类型少还可以，类型多了感觉很容易乱，还有user-agent的收集与判断（虽然大多数扫描器都能改user-agent）。</p>    <p>具体分析：我都是用脚本跑一遍，然后按ip来看会比较方便些，而这里缺少机器识别，我单独写了一个简易的机器识别的东西，其实要实现很简单，把全部日志按时间，url，ip扔进一个列表里统计一下相同时间相同ip的就可以了。我写的是识别短信轰炸的，后期还会渐渐的完善，如果有能力就把它结合django来弄成图形化，毕竟脚本始终是脚本，终究听着不好听。</p>    <p><strong>效果如下</strong></p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/ae0b8f909b5dfe0a74806e1f6f0cf819.jpg"></p>    <p> </p>    <p>来自：http://www.freebuf.com/sectool/126698.html</p>    <p> </p>