<h2><strong>一、写在前面</strong></h2>    <p>本文介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来 代理 kibana的请求响应，访问权限方面暂时使用 <a href="/misc/goto?guid=4959715063371415329" rel="nofollow,noindex">HTTP 基本认证</a> 加密用户登录。 （关于elk权限控制，我所了解的还有一种方式－ <a href="/misc/goto?guid=4959715063458986906" rel="nofollow,noindex"> Shield </a> ），等以后有时间了去搞下。下面开始正文吧。。。</p>    <p>注意：环境默认和上一篇大致一样，默认安装好了E、L、K、3个软件即可。当然了，还有必需的java环境JDK</p>    <p>开始之前，请允许我插入一张图，来自线上我的测试图：（如果有需要的童鞋，可以私信我，我可以把登录帐号给你。。）</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/3f91700d3d8f0fc600e7e8211d686331.png"></p>    <p>nginx日志文件其中一行：</p>    <pre>  <code class="language-groovy">218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/"   "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"  </code></pre>    <p>nginx 服务器日志的log_format格式：</p>    <pre>  <code class="language-groovy">log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                        '$status $body_bytes_sent "$http_referer" '                        '"$http_user_agent" "$http_x_forwarded_for"';  </code></pre>    <h2><strong>二、配置logstash</strong></h2>    <p>1.修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf  input {      file {          path => [ "/data/nginx-logs/access.log" ]          start_position => "beginning"          ignore_older => 0      }  }    filter {      grok {          match => { "message" => "%{NGINXACCESS}" }        }      geoip {        source => "http_x_forwarded_for"        target => "geoip"        database => "/etc/logstash/GeoLiteCity.dat"        add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]        add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]      }        mutate {        convert => [ "[geoip][coordinates]", "float" ]        convert => [ "response","integer" ]        convert => [ "bytes","integer" ]        replace => { "type" => "nginx_access" }        remove_field => "message"      }        date {        match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]        }      mutate {        remove_field => "timestamp"        }      }  output {      elasticsearch {          hosts => ["127.0.0.1:9200"]          index => "logstash-nginx-access-%{+YYYY.MM.dd}"      }      stdout {codec => rubydebug}  }    View Code</code></pre>    <p>文件内容大致解释：</p>    <p><sub><em>Logstash 分为 Input、Output、Filter、Codec 等多种plugins。</em> </sub></p>    <p><sub><em>Input：数据的输入源也支持多种插件，如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、</em> </sub></p>    <p><sub><em>Output：数据的输出目的也支持多种插件，如本文的elasticsearch，当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、</em> </sub></p>    <p><sub><em>Filter：使用过滤器根据日志事件的特征，对数据事件进行处理过滤后，在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、</em> </sub></p>    <p><sub><em>Codec：编码插件，改变事件数据的表示方式，它可以作为对输入或输出运行该过滤。和其它产品结合，如rubydebug、graphite、fluent、nmap等等。</em> </sub></p>    <p><sub><em>具体以上插件的细节可以去官网，介绍的挺详细的。下面说下该篇中的配置文件的含义：</em> </sub></p>    <p><sub><em>来源：飞走不可－原文 <a href="/misc/goto?guid=4959715063554948314" rel="nofollow,noindex">http://www.cnblogs.com/hanyifeng/p/5857875.html</a> </em> </sub></p>    <p><sub><em>input段：</em> </sub></p>    <p><sub><em>file：使用file 作为输入源</em> </sub></p>    <p><sub><em>path： 日志的路径，支持/var/log*.log，及[ "/var/log/messages", "/var/log/*.log" ] 格式</em> </sub></p>    <p><sub><em>start_position: 从文件的开始读取事件。另外还有end参数</em> </sub></p>    <p><sub><em>ignore_older: 忽略早于24小时（默认值86400）的日志，设为0，即关闭该功能，以防止文件中的事件由于是早期的被logstash所忽略。</em> </sub></p>    <p><sub><em>filter段：</em> </sub></p>    <p><sub><em>grok：数据结构化转换工具</em> </sub></p>    <p><sub><em>match：匹配条件格式，将nginx日志作为message变量，并应用grok条件NGINXACCESS进行转换 </em> </sub></p>    <p><sub><em>geoip：该过滤器从geoip中匹配ip字段，显示该ip的地理位置</em> </sub></p>    <p><sub><em>source：ip来源字段，这里我们选择的是日志文件中的最后一个字段，如果你的是默认的nginx日志，选择第一个字段即可</em> </sub></p>    <p><sub><em>target：指定插入的logstash字断目标存储为geoip</em> </sub></p>    <p><sub><em>database：geoip数据库的存放路径</em> </sub></p>    <p><sub><em>add_field: 增加的字段，坐标经度</em> </sub></p>    <p><sub><em>add_field: 增加的字段，坐标纬度</em> </sub></p>    <p><sub><em>mutate： 数据的修改、删除、类型转换</em> </sub></p>    <p><sub><em>convert： 将坐标转为float类型</em> </sub></p>    <p><sub><em>convert： http的响应代码字段转换成 int</em> </sub></p>    <p><sub><em>convert： http的传输字节转换成int</em> </sub></p>    <p><sub><em>replace： 替换一个字段</em> </sub></p>    <p><sub><em>remove_field： 移除message 的内容，因为数据已经过滤了一份，这里不必在用到该字段了。不然会相当于存两份</em> </sub></p>    <p><sub><em>date: 时间处理，该插件很实用，主要是用你日志文件中事件的事件来对timestamp进行转换，导入老的数据必备！在这里曾让我困惑了很久哦。别再掉坑了</em> </sub></p>    <p><sub><em>match：匹配到timestamp字段后，修改格式为dd/MMM/yyyy:HH:mm:ss Z</em> </sub></p>    <p><sub><em>mutate：数据修改</em> </sub></p>    <p><sub><em>remove_field： 移除timestamp字段。</em> </sub></p>    <p><sub><em>output段：</em> </sub></p>    <p><sub><em>elasticsearch：输出到es中</em> </sub></p>    <p><sub><em>host： es的主机ip＋端口或者es 的FQDN＋端口</em> </sub></p>    <p><sub><em>index： 为日志创建索引 <a href="/misc/goto?guid=4959715063554948314" rel="nofollow,noindex">logstash-nginx-access</a> -＊，这里也就是kibana那里添加索引时的名称 </em> </sub></p>    <p>2.创建 logstash 配置文件之后，我们还要去建立 grok使用的表达式 ，因为logstash 的配置文件里定义的使用转换格式语法，先去 logstash 的安装目录，默认安装位置：/opt/logstash/下，在该位置创建一个目录patterns:</p>    <pre>  <code class="language-groovy">root@log-monitor ~]# mkdir -pv /opt/logstash/patterns  mkdir: created directory ‘/opt/logstash/patterns’  </code></pre>    <p>在该目录下创建格式文件，内容如下：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# cat /opt/logstash/patterns/nginx  NGUSERNAME [a-zA-Z\.\@\-\+_%]+  NGUSER %{NGUSERNAME}  NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\"  </code></pre>    <p>注:该格式的最后有一个http_x_forwarded_for，因为我们日志是启用了cdn代理的。日志的第一段都是cdn的，最后一段才是真正客户的ip。</p>    <p>需要分析的nginx日志路径不在默认的位置，所以我根据logstash 的配置，建个目录先，并将日志文件拷贝进去：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# mkdir -pv /data/nginx-logs/  [root@log-monitor ~]# ll /data/nginx-logs/  total 123476  -rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log  </code></pre>    <p>3.然后就是logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。官网在这里: <a href="/misc/goto?guid=4959715063661625278" rel="nofollow,noindex">MAXMIND</a></p>    <p>先把库下载到本地：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz  </code></pre>    <p>解压到当前路径，并将它移动到上述我们配置的路径下，当然其它路径也是可以的，不过logstash 的配置文件也需要更改，如下：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz  [root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/.  </code></pre>    <p>测试下logstash 的配置文件吧，使用它自带的命令去测试，如下：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf  Configuration OK  </code></pre>    <p>注：-t -f 参数顺序不能乱，格式就是定死的，-f 后面要跟配置文件；还有就是该测试只能测试语法，标点符号。如果逻辑上有错误的话，还是能启动的。这里就需要在正式启动运行时，多关注日志文件，位置：/var/log/logstash/logstash.log</p>    <h2><strong>三、配置Elasticsearch</strong></h2>    <p>1.先修改es的配置文件如下（存放路径：/etc/elasticsearch/elasticsearch.yml）:</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml  node.name: es-1  path.data: /data/elasticsearch/  network.host: 127.0.0.1  http.port: 9200  </code></pre>    <p>其它内容都保持默认。主要修改了es的数据存放路径，它默认的路径在根目录下，由于容量太小，而/data容量大。 根据你的实际情况考虑而定。</p>    <p>创建数据存放目录：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# mkdir -pv /data/elasticsearch  </code></pre>    <p>修改该文件的权限所属者：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/  </code></pre>    <p>之后重启es，重启logstash。</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# systemctl restart elasticsearch  [root@log-monitor ~]# systemctl restart logstash  </code></pre>    <p>检查启动状态：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# netstat -ulntp | grep java  tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java  tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java  </code></pre>    <pre>  <code class="language-groovy">[root@log-monitor ~]# systemctl status logstash  ● logstash.service - LSB: Starts Logstash as a daemon.     Loaded: loaded (/etc/rc.d/init.d/logstash)     Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago       Docs: man:systemd-sysv-generator(8)    Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS)     CGroup: /system.slice/logstash.service             └─27201 /bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX...    Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon....  Sep 09 16:14:17 log-monitor logstash[27195]: logstash started.  Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..  </code></pre>    <p>logstash 的日志查看：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# tail -f /var/log/logstash/logstash.log  {:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}  </code></pre>    <p>从上面可以看到启动是正常的，我们在去看下es里的索引，应该已经在倒入数据了。</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v'  health status index                            pri rep docs.count docs.deleted store.size pri.store.size  yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb  yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb  yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb  </code></pre>    <p>从上面看到数据已经在慢慢的导入了。大概需要一段时间，因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。</p>    <h2><strong>四、安装nginx 配置kibana代理</strong></h2>    <p>1.下载稳定版的nginx，这里使用yum安装。或者也可以选择编译，个人觉得rpm包已经足够可以使用。</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm  </code></pre>    <p>2.安装，并修改默认的配置文件</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y  </code></pre>    <p>先将默认的default.conf 移动到其它目录中，或者直接删除也可以。我是直接删除了。然后新建一个elk.conf配置文件，内容如下：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# cat /etc/nginx/conf.d/elk.conf  upstream elk {      ip_hash;      server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;      server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;  }    server {      listen 80;      server_name localhost;      server_tokens off;        #close slow conn      client_body_timeout 5s;      client_header_timeout 5s;        location / {          proxy_pass http://elk/;          index index.html index.htm;          #auth          auth_basic "ELK Private,Don't try GJ!";          auth_basic_user_file /etc/nginx/.htpasswd;      }      }  </code></pre>    <p>文件内容大致解释：</p>    <p>此处省略500字</p>    <p>3.新建一个http基本认证用户，使用的是httpd的一个工具组件，叫httpd-tools，用于生成加密的用户数据库</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# yum install httpd-tools –y  </code></pre>    <p>新建用户：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# htpasswd -cm /etc/nginx/.htpasswd elk  New password:  Re-type new password:  Adding password for user elk  </code></pre>    <p>重启nginx，并检查状态</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# systemctl start nginx  [root@log-monitor ~]# systemctl status nginx  ● nginx.service - nginx - high performance web server     Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)     Active: active (running) since Fri 2016-09-09 12:02:41 CST; 47s ago       Docs: http://nginx.org/en/docs/    Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)    Process: 26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)   Main PID: 26424 (nginx)     CGroup: /system.slice/nginx.service             ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf             └─26425 nginx: worker process    Sep 09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server...  Sep 09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok  Sep 09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful  Sep 09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server.  Sep 09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server.  Sep 09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server.  </code></pre>    <p>检查监听端口：</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# netstat -ultpn | grep :8888  tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      26424/nginx: master  </code></pre>    <p>修改iptables防火墙，插入以下规则，允许外面访问8888端口。由于我们最终是使用8888端口对外提供服务的，所以kibana的5601，以及es的9200、9300端口都不需要对外</p>    <pre>  <code class="language-groovy">[root@log-monitor ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT  </code></pre>    <p>4.访问一下网站，验证下：</p>    <p><sub>来源：飞走不可－原文 <a href="/misc/goto?guid=4959715063554948314" rel="nofollow,noindex">http://www.cnblogs.com/hanyifeng/p/5857875.html</a> </sub></p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/42632b16b8ca4aee7028078354d9d395.jpg"></p>    <p>输入我们建立的elk用户，登陆后，可以正常的访问kibana界面即可，如下图：</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/a6513987d71dc51c528589294d4598ce.jpg"></p>    <p>添加一个索引，这个索引名字就是我们之前在logstash配置文件中导入es中的那个，本文中是logstash-nginx-access-*,如下图：</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/2c36a3f823a2c8bc59ee379f159acc38.jpg"></p>    <p>查看索引，目前自由一个，设置为加星，即是discover默认突出显示的。</p>    <p><img src="https://simg.open-open.com/show/2f7ae45324d18919382769a9e67c8322.jpg"></p>    <p>然后我们点击Discover，即可看到我们倒入的数据了。如下图：</p>    <p><sub>来源：飞走不可－原文 <a href="/misc/goto?guid=4959715063554948314" rel="nofollow,noindex">http://www.cnblogs.com/hanyifeng/p/5857875.html</a> </sub></p>    <p><img src="https://simg.open-open.com/show/1a7942aa4462d2d4eed6e63ea271dfc0.jpg"></p>    <p>最后这是我的dashboard，主要统计了web站点的客户端ip地址归属地、总的http传输次数、top10 来源ip、top10 请求点击页面、错误请求趋势、等等，如下，上几张图：</p>    <p><img src="https://simg.open-open.com/show/d62e1cf7e0105758e1ef2af611cf57f2.jpg"></p>    <p><img src="https://simg.open-open.com/show/5dde89b9556dbd9ca169192d7ec0cbd9.jpg"></p>    <p><img src="https://simg.open-open.com/show/33d41011ff8968bc85db319f5b3bf753.jpg"></p>    <h2><strong>五、小结</strong></h2>    <p>    ELK优势：</p>    <ul>     <li>针对网络攻击事件时，方便运维人员查找溯源。</li>     <li>日志集中收集存储，方便后续分析</li>     <li>优化业务、系统时，做到有据可依<br>                                                      </li>    </ul>    <p>搭建的过程中真的蛮辛苦的（毕竟都是英文），出了问题只能google，从不了解到熟悉，也算是种经历啦。不发牢骚了。。</p>    <p>画图容易，就如虎大牛所说：“先学会了如何查，画图自然而然就简单多了。当然还要知道其中每个字段的含义”。我的下篇文章将会主要说下如何画图（包括上面这些图中样式哈）。有没有点小福利的感觉？</p>    <p> </p>    <p>参考资料：</p>    <p>https://www.elastic.co/guide/index.html</p>    <p>http://grokdebug.herokuapp.com/patterns</p>    <p>http://www.cnblogs.com/liuning8023/p/5502460.html</p>    <p> </p>    <p>来自：http://www.cnblogs.com/hanyifeng/p/5857875.html</p>    <p> </p>