Splunk 大数据解决方案

lsfzhl

贡献于2015-04-20

字数:0 关键词: 分布式/云计算/大数据 方案

北京华夏威科软件技术有限公司 Splunk大数据行业应用 研讨会 公司介绍 公司 – 创立于 04 年,06 年发布第一个版本 – 总部位于加州旧金山 – 区域总部位于香港和伦敦 – 在 15 个国家/地区拥有 650 多名员工 财务 – 2012 年 4 月 19 日在纳斯达克上市,股 票代码为 SPLK – 2013 财年一月份收益达到 1.989 亿美 元 – 年复合增长率为 91% 客户 – 在 85个国家/地区拥有 5200 多家客户 – 50% 以上为财富 100 强公司 2 2013最具创新公司排名第四 3 在 80 多个国家/地区拥有 5200 多家客户 云和在线服务 教育 能源与公用事业 金融服务与保险 政府 制造 媒体与娱乐 卫生保健 旅游与休闲 零售 电信 技术 4 Splunk 中国客户 5 问题? 崔玥 cyue@Splunk.com Splunk 方案介绍 8 让机器数据对每个人都是可用的、有 用的并且是有价值的 Mission 机器数据是什么样的? 9 Sources Twitter Care IVR Middleware Error Order Processing 机器数据包含有关键的信息 10 Customer ID Order ID Customer’s Tweet Time Waiting On Hold Twitter ID Product ID Company’s Twitter ID Sources Twitter Care IVR Middleware Error Order Processing Customer ID Order ID Customer ID 机器数据包含有关键的信息 11 Order ID Customer’s Tweet Time Waiting On Hold Product ID Company’s Twitter ID Sources Twitter Care IVR Middleware Error Order Processing Order ID Customer ID Twitter ID Customer ID Customer ID 12 大数据是什么样的? Volume | Velocity | Variety | Variability 数量 | 速度 | 种类 | 可变 GPS, RFID, Hypervisor, Web Servers, Email, Messaging Clickstreams, Mobile, Telephony, IVR, Databases, Sensors, Telematics, Storage, Servers, Security Devices, Desktops 机器产生的数据是增长最快、最复 杂也最富含价值的大数据中的一种 Splunk 是一种大数据解决方案 13 很快速即可开始 而且便于扩展 可扩展的处理 性能 完全整合的解决方 案 方便下载和安装部 署 预置的端到端的分 析能力 所有你希望的企业 级功能 被证实的每天TB级的 数据处理能力 可以管理 PB 级的数据 量 超过 3,300个全球客户 从成千上万的来源获 取数据 实时数据分析和对历 史数据进行挖掘 针对IT用户和业务用 户的快速可定制的数 据展现 14 传统的手段解决的是不同的问题 Stored Digital Information ( exabytes ) 业务交易数据 标准化问题 易于获取 经济数据 非结构化 非标准数据 新技术产生的 关系型数据库时代 大数据时代 不仅仅跟数据量大有关系 数据种 类 数据量 传统工具 希望获得结论的 时间 “如果得到一个回答需要3天 的时间, 我就没必要再问问 题了” — Marc Parrish, Barnes and Noble 15 16 16 Splunk 是什么? • Splunk 是一个针对机器数据的数据引擎 • 针对所有 IT 系统和基础设施数据, 提供 数据搜索、报表和可视化展现 • Splunk是软件 – 几分钟就可以完成下载和安 装 • 可以运行在各种主流的操作系统平台 17 17 索引任何的机器数据 实时从日志文件获取事件 运行脚本获取系统参数, 连接到 API 和数据库 监听 syslog 或获取 Windows 事件 通用方式索引任何内容格式的数据, 不需 要连接器 Windows • Registry • Event logs • File system • sysinternals Linux/Unix • Configurations • Syslog • File system • Ps, iostat, top Virtualization • Hypervisor • Guest OS • Guest Apps Applications • Web logs • Log4J, JMS, JMX •.NET events • Code and scripts Databases • Configurations • Audit/query logs • Tables • Schemas Network • Configurations • syslog • SNMP • netflow 更多其他用例 . . . 安全 & 合规 基础架构 & 运维管理 应用程序管理 一个 Splunk 多种应用场景 19 19 通用索引和存储 实时搜索引擎 核心功能 搜索语言 统计/ 分析 告警 仪表板 报表 Apps 和使用案例 应用程序 管理 IT 运维管理 安全 业务分析 合规 访问控制 用户界面 API接口 SDK开发包 … … Splunk 产品架构概览 IT 数据源 与其他数据源进行 关联 实时 无需预定义 大规模 关联 高性能 实时监视 数据钻取 历史数据分析 用户编写 Splunk-编写 社区论坛, 合作伙伴 基于角色 基于Web 20 20 支持多种Apps/解决方案 Security IronPort WSA 可以线性扩展到每天几十 TB的数据量级 21 Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day Offload search load to Splunk Search Heads 22 22 分布式搜索提供跨多个位置的统一视图 跨多个数据中心运行 Splunk 的独特优势 • 通用的数据引擎 • 任意格式定义 • 强大的搜索和报表语句 • 灵活的报表生成、分析和可视化展示 • 优异的可扩展性,从单机到分布式架构 • 开放的、可扩展的平台 • 立竿见影,快速价值体现 • 拥有激情和活跃的用户社区群体 23 24 Splunk 在IT和业务领域都可以使用 Web 分析 应用日 志分析 虚拟化 安全合规 IT 基础 运维 业务分析 Developer Framework 25 Splunking Big Data Customer Data Volume (per day) 12 TB 6 TB 4 TB 900 GB 800 GB Leading Social Gaming Company 1.2 TB 问题? Copyright © 2012 Splunk, Inc. 案例分享一 -- 智能运维 背景介绍 • 根据不同主机来源的日志分析交易耗时、交易量、响应 码成功比率,等等 • 业务系统维护人员可以通过输入简单的条件(例如交易 流水号、卡号、账号,等等) • 快速定位匹配的事件 • 关联分析 • 实时业务报表 场景一:交易耗时分析 29 • 通过对所有交易最大耗时和平均耗时时序变化发现3月10日8点30分到8 点33分之间的交易耗时远超过其他时间段 30 通过对该时段AP1, AP2, GAPSAP 的日志查询得出,交易代码0307的交 易数量是最大的 31 继续查看交易代码0307在该时段的交易耗时情况 最大耗时和平均耗时都明显 高于其他时段 32 根据交易代码列出各个步骤 耗时的最大/最小/平均值 启动3的最大耗时远远超过 其他几个步骤 2012.3.10 8:30am-8:33am 基于关键信息快速查询定位 33 • 根据交易流水号查询交易总耗时以及各个步骤耗时 列出不同来源主机 列出各个步骤的耗时, 颜色区分大小, 快速定 位到最大的耗时步骤 只需键入所要查询 的交易流水号,然 后点击搜索按钮 1 2 统计分析报表/仪表板 34 • 各种响应码的占比情况展示 0000(处理返回成功)之外的各 种响应码随时间分布情况展示 通过外部查找对照表列出 各种响应码的解释含义 Copyright © 2012 Splunk, Inc. 案例分享二 --日志管理/安全审计 日志管理面对的挑战 36 • 日志较分散不便管理。 • 环境复杂,设备品牌较多,包括国产和国外设备,日志格式无法 统一。 • 合规性要求: – 重要日志文件不少于半年。 – 应能根据审计记录进行数据分析,并生成统计报表。 – 避免审计记录遭受未预期的删除、修改或覆盖。 – 实施信息系统的统一安全策略,实现集中审计。 应对挑战 • 搭建统一的日志管理系统 – 有足够的存储空间和备份归档策略满足存储时间要求 – 处理多样的日志格式 – 查询快、易分析 – 对审计记录的保护 – 可灵活定制展现层 – 部署统一策略,实现集中审计。 37 为什么选择 Splunk? 38 选型前有与其他工具进行测试比较。 Splunk优势 – 易操作,易部署 – 能识别日志的种类全面 – 不需要另外做归一化处理 – 查询速度较快 – 仪表盘能灵活定制 – 细粒度用户权限 安装部署 • 收集数据源包括操作系统、网络设备、安全设备和应用程序的日 志。(包括linux、Firewall、交换机、路由器、负载均衡,入侵 检测,审计系统、身份认证系统等) 39 使用场景分析 • 日常状态监测(CPU、内存、存储、连接池等资源情况) • 排错查询(硬件错、软件错、人为操作错)利用存储查询语句完 成知识转移。 • 基线管理(定期排程) • 告警 • 统计报告 40 报告举例 • 确保数据并进行相关报告: – 频繁用户登陆出错 – 非授权的访问出错 – 网络接口down – 主备设备切换信息 – 设备紧急故障信息 – 来自安全设备的高级类攻击事件信息 – 一段事件内大量出现的出错信息 41 使用 Splunk 之后 • 日志管理方面满足合规要求。 • 对IT 数据有全局视角。 • 提高了可视性。 • 提高了排错的效率 42 如何进一步利用 Splunk? 43 梳理各类设备的需关注日志关键字,结合短信网关配置告警。 利用 Splunk 分析业务数据。 Copyright © 2012 Splunk, Inc. 案例分享三 -- 应用数据分析 背景介绍 大型商业银行,拥有大量自开发应用系统(网上银行、基金交易,等 等) 关注交易时延、用户体验以及系统运行状态 每天生成海量日志,只能手工检查,没有分析工具 无法获得业务系统 运行的整体状况和视图 45 交易总体指标 交易时延分析 交易类型解析 交易来源/渠道分析 多维度分析报告 告警监控 帮助台-自助查询 IT部门从中获益 技术专家 客服人员 • 运维成本可控 • 实施快速落地 • 团队排障效率提升 • 业务运行良好 • SLA符合预期 • 服务保障变得敏捷 • 操作灵活简单 • 直接定位问题环节 • 快速交付给处理部门 • 数据及时 • 我可以追踪交易事件 • 深度解析问题原因 运维主管 服务经理 问题?

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享文档获得金币 ] 1 人已下载

下载文档

相关文档