HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统
一、HAProxy简介
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
二、Keepalived简介
它是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。一个WEB服务至少会 有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发 送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
三、Flume简介
Flume是Apache提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
注：根据我们公司具体业务需求，对其进行二次开发满足跨国跨机房日志数据完整传输录入到hadoop，同时确保高性能(tps：10k),当前已经有部分业务线上介入，日收集日志条数2亿+(日志大小约30G)。
四、Keepalived安装＆配置
(1) keepalived依赖环境
yum install -y openssl-devel openssl;
yum install -y popt-devel;
(2) 从keepalived官网下载最新的版本:http://www.keepalived.org/download.html
(3) 安装与编译:
./configrure;
make && make install
(4) 设置service启动服
| [root@localhost~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d [root@localhost~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ [root@localhost~]# mkdir /etc/keepalilved [root@localhost~]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ [root@localhost~]# cp /usr/local/sbin/keepalived /usr/sbin/ [root@localhost~]# service keepalived start </div> </td> </tr> </tbody> </table> </div> </div> </div> </div>
(5) 配置文件
|