大数据与分析驱动商业价值

©2014 IBM Corporation 大数据分析驱动商业价值 朱辉 IBM中国研发中心 信息管理与大数据产品部 总经理 ©2014 IBM Corporation 大数据分析驱动商业价值 朱辉 IBM中国研发中心 信息管理与大数据产品部 总经理 大数据分析驱动商业价值 3 ©2014 IBM Corporation 2 大数据分析的5个高复制的使用场景议程 IBM 对于大数据与分析的观点IBM 对于大数据与分析的观点1 3 大数据分析驱动商业价值 ©2014 IBM Corporation 大数据来自哪里？ 企业自身累积的数据 CRM ERP HR 营销系统 项目管理 系统 企业协作 平台 业务营运 系统 … 每天有超过3亿 活跃用户 Facebook每天处理 的数据量多达 500TB 每天有 超 过1亿 条消 息 社交媒体产生的数据 2013年1月，超过3亿活 跃用户，到2013年底， 预计5亿用户 现在有300亿个RFID （2005 年时有 13 亿） 全球有46亿 台照 相手机 每年售出数亿台支 持 GPS 的设备 截至 2011 年 末网络上有超 过 20 亿人 在 2009 年有 7600万 台智能仪 表…… 至 2014 年将达到 2 亿台 感知设备采集的数据 4 大数据分析驱动商业价值 ©2014 IBM Corporation 数据规模爆炸式地增长 1 Gigabyte = 1,000,000,000 1 Terrabyte = 1,000,000,000,000 1 Petabyte = 1,000,000,000,000,000 1 Exabyte = 1,000,000,000,000,000,000 1 Zetabyte = 1,000,000,000,000,000,000,000 1 Yottabyte = 1,000,000,000,000,000,000,000,000 人类产生的数据综合2020年将达到40ZB，2003年之前所有的数据，我们现在只 要两天就可以产生，每天产生 5 Exabytes 数据 5 大数据分析驱动商业价值 6 ©2014 IBM Corporation 我们正处于大数据的黎明期…… ……新信息的不确定性和复杂性在不断增加 6 数量 多样性 速度 准确性 大规模的数据 TB 级到 PB 级的数 据 多种形式的数据 结构化、非结构化、 文本、多媒体 动态数据 对流数据的分析支持 在几分之一秒内制定 决策。 数据的不确定性 管理本质上不精确的 数据类型的可靠性和 可预测性。 Volume Velocity Variety Veracity 大数据分析驱动商业价值 7 ©2014 IBM Corporation “At the World Economic Forum last month in Davos, Switzerland, Big Data was a marquee topic. A report by the forum, “Big Data, Big Impact,” declared data a new class of economic asset, like currency or gold.” “Companies are being inundated with data from information on customer- buying habits to supply-chain efficiency. But many managers struggle to make sense of the numbers.” “Big Data has arrived at Seton Health Care Family, fortunately accompanied by an analytics tool that will help deal with the complexity of more than two million patient contacts a year…” “数据是新的石油资源” -- 石油还没有被加工处理之前，一文不值； 一旦经过处理和提炼， 它就产生巨 大的价值 “Data is the new oil.” -- Clive Humby 大数据是下一个自然资源 “我们首次拥有一个基于关键资源（信息）的经济体制，不仅是可再生的而 且是自发生成的。耗尽它没关系，但不要淹没在其中。” — John Naisbitt 商业和社会价值来自对大数据的分析和应用 7 大数据分析驱动商业价值 ©2014 IBM Corporation 数据分析的演变历程 认知性分析预测性分析 指令性分析描述性分析 描述性  基于历史数据的 “ 滞后的事实 ” 分析  为企业或机构业务 措施提供清晰的评 估  适用与所有业务部 门进行事实调查， 及成功与失败的可 视化 认知性  关于感知的心理过 程，记忆，判断， 学习和推理。  用于了解某些类型 的业务相关功能的 不同分析策略范围  自然语言处理 预测性  利用数据挖掘，统 计和机器学习算法 等来分析当前和历 史数据来预测未来 事件和业务成果。  从历史和交易数据 发现规律，从而优 化商业措施 指令性  综合大数据，数学 和计算科学，及业 务规则，提出决策 方案。  注意到未来的机遇 或减轻未来风险， 并显示每个决策选 项的含义 8 大数据分析驱动商业价值 ©2014 IBM Corporation 认知计算为大数据分析提供新的能力 9 理解自然语言和 人类沟通方式 通过人机交互和结果 修正，不断自主学 习和认知演进 基于数据认知 和推理产生并 评估结果 1 2 3 帮助发现全新的洞察 • 预测和内容分析，揭示隐含尚未发现的规 律 • 跨所有数据的交互式探索 高效及时的运作 • 实时分析流经一个组织的数据 • 比开源快数倍的企业级 Hadoop • 与意念分析速度可比拟的内存计算能力 建立信任，制定有信心的决策 • 包括Hadoop在内的整个数据生命周期的管 治 • 安全和隐私合规 • 透明度和上下文的决策过程 Watson Foundations 在数据分析领域的能力 大数据分析驱动商业价值 ©2014 IBM Corporation 基于Waston Foundation的认知性分析 系统 安全 On premise, 云, 作为一个服务 存储 IBM Watson Foundations IBM 大数据 &分析 基础设施 新型/增强 应用所有数据 实时分 析区 数据仓库 数据集市 和分析一 体机区 信息管治区 探索，着 陆和存档 区 摄取信息 和操作信 息取 为什么 会发生? 报告，分析， 内容分析 正在发生 什么？ 发现与探索 我应该采 取 什么样 的行动? 决策管理 有什么可能 会发生？ 预测性分析 与建模 认知 结构 10 大数据分析驱动商业价值 ©2014 IBM Corporation 商业转型敏捷交付降低成本 Cloud 1.0 Cloud 2.0 Cloud 3.0 业务人员数据分析师 大数据分析云 360度全方位的安全管控和合规 保证，是在云端进行大数据分析 的重要前提和必须面对的挑战 挑战一 挑战二 挑战三 繁杂的、 离散的安 全控制点 不断演进 的黑客技 术和病毒 威胁 海量的连 接设备、 产生更多 的攻击入 口 分析与洞察 云端的大数据 支撑对海量数据的分析洞察， 对存储设备的容量和吞吐量、 计算能力等提出更高要求。随 着网络带宽的快速提升，通过 软件定义网络，将跨地域的数 据中心虚拟为扁平的大“云”， 为大数据分析提供强有力的基 础设施保障。 AA ~5:1 AAA SSS S SS S S ARAR CRCR AAAAAA ~40:1 ~200:1 S S ARAR S A “云计算”是大数据分析的基石 企业管理层 交互参与系统 企业业务系统 大数据分析驱动商业价值 ©2014 IBM Corporation 基于大数据和分析产生新的业务价值和行业解决方案 吸引、发展 及挽留客户 创建新的 商业模式 变革财 务流程 管理风险 优化运营 减少欺诈 降低IT运 营成本 大数据 & 分析 大数据分析驱动商业价值 ©2014 IBM Corporation IBM 提供了全面、整合化的大数据和分析方法 咨询和实施服务 信息整合与治理 大数据平台 Content Management Data Warehouse Stream Computing Hadoop System 安全性， 系统， 存储， 云计算 Decision Management Discovery & Exploration Planning & Processing Content Analytics 商业智能与预测性分析 Waston和数据分析平台 Stream Computng Sales Marketing Finance Risk IT Operations HR 解决方案平台 行业解决方案 . 收集和组合各种相关信息 . 借助智能可视化平台来发现和 探索信息 . 通过分析、预测和自动化获取 更准确的答案 . 采取措施并自动化流程 . 优化分析性能和 IT 成本 . 降低基础架构复杂性和成本 . 管理、治理和保护信息 IBM 协助企业实现: 13 大数据分析驱动商业价值 ©2014 IBM Corporation 议程 五种令人信服的大数据用例 IBM 对于大数据与分析的观点 大数据分析的5个高复制的使用场景 1 2 14 大数据分析驱动商业价值 ©2014 IBM Corporation 5个高复制的使用场景为各行各业带来新的商业价值 1 5 大数据 探索360度全方位 客户视图 运维及运 营分析 数据仓库 能力增强 安全和风 险预警 金融服务 . 洗钱，身份窃取 . 获得交易活动的长期跟 踪视图 . 360 度的客户视图 . 数据日志分析，用于内 部审计与合规性 公用事业 . 预测天气模式，优化 风力涡轮机的使用 . 传输监控 . 智能电网管理 零售 . 360 度的客户视图 . 多种渠道增加客户 信息 . 个性化的体验和实 时促销 执法 . 来自不同的视频、音频 和数据源的实时监控 . 状态感知 . 网络安全检测 运输 . 天气和交通情况影响 物流和油耗 . 交通挤塞 IT . 用于排除故障和了解 趋势的系统日志分析 . 网络安全 电信 . CDR 处理 . 流失预测 . 地理映射/营销 . 网络监测 健康和生命科学 . 疫情的早期预警 . ICU 干预监测 . 远程医疗监测，降低医疗成本 大数据 & 分析 大数据分析驱动商业价值 16 ©2014 IBM Corporation 1. 大数据探索需求 . 对新数据源进行探索，以便在无假设的前提下发现现 有企业数据和内容以外的潜在价值 . 提供假设，挖掘与企业的某项当务之急相关的内容 . 在上下文中关联并不相似的信息源，并且评估非结构 化内容的业务价值 . 利用可视化、算法和处理，发现关注的模式 . 在探索时避免泄漏敏感信息 行业示例 . 客户服务知识门户 . 保险灾难建模 . 汽车功能与定价优化 . 化学品和石油基于条件的维护 . 疾病诊断 . 生命科学药品有效性 . 赛事预测 .… 16 探索和挖掘大数据，以寻找业务关注的相关内容， 从而实现更好的决策制定 大数据分析驱动商业价值 ©2014 IBM Corporation17 IBM 大数据分析 　 网球应用中的精华 - IBM SlamTracker技术 通过IBM SPSS预测分析技 术提供的预测分析，使得球 员、球迷、教练可以更加透 彻地理解比赛 案例：大数据和分析在体育 17 大数据分析驱动商业价值 ©2014 IBM Corporation “最快可提早 24 小时帮助 检测出对生命有威胁的情 况” • 使用新生婴儿的生理数据执行实时分析 • 持续关联来自医疗监视器的数据，以检 测微小的变化，并更早提醒医院员工 • 早期的警告使护理人员能够主动处理并 发症 成果 • 最快可提早 24 小时帮助检测出对生命 有威胁的情况 • 降低发病率并改善患者护理水平 Ontario Institute of Technology 大学 (UOIT) 更 早检测出新生儿患者的症状 利用的功能： 流计算 案例：大数据和分析在医疗业 18 大数据分析驱动商业价值 ©2014 IBM Corporation 2. 增强的 360 度全方位客 户视图 需求 . 尝试整合内部信息和外部信息，从而建立互联互 通的客户视图 . 关联和挖掘企业数据、主数据、呼叫记录、 企业内容和新信息源，从而获得可采取行动的洞 察 . 分析社交媒体和外部数据源，以发现客户对于您 的产品和企业的观点 . 通过优化每一次客户交互来增添价值 行业示例 . 智能仪表分析 . 电信运营商客户关系管理 . 零售营销优化 . 旅行和运输客户分析和忠诚度营销 . 金融服务的后续最佳举措和客户保 留 . 汽车质保索赔 .… 19 全面了解客户，从而优化每一次客户交互 大数据分析驱动商业价值 ©2014 IBM Corporation Automercados Plaza 的数据分 析提供客户行为洞察，收入增加 30％ 需求 • 轻松访问每个店铺的运营数据 • 及时、全面的运营视图，以改进业务决策 获益 • 年度收入增加了 30%，年度利润增加了 7 百万美元 • 编制销售税数据所需的时间减少了 98% • 防止易腐货物的损失，这在所有产品中约 占 35％ 20 案例： 大数据和分析在零售业 20 大数据分析驱动商业价值 ©2014 IBM Corporation Ufone 降低用户流失率并保持让 用户满意，​ ​ 帮助确保营销活 动高度有效和及时 需求 .确保其营销活动在客户退出网络之前瞄准 正确的客户 .通过营销活动提供适合客户的服务和计划 ，保持其更高使用率的客户的满意度 获益 .预计预测分析将营销活动的响应率从大约 25％ 提高到至少 50％ .CDR 的分析可以在30 秒内完成, 而不再需 要至少一天的时间 .预计流失率减少大约 15-20% 21 案例： 大数据和分析在电信运营商 大数据分析驱动商业价值 ©2014 IBM Corporation 3. 运维及运营分析需求 . 在保证亚秒级延迟的前提下分析海量机器数据， 以便在发生关注的事件时及时识别 . 应用预测模型和规则，在发生潜在的反常现象或出 现机遇时及时识别 . 整合运营和企业数据，从而实时了解服务水平 . 监控系统，以主动提高运营效率，避免服务降级或 中断 行业示例 . 智慧交通监控 . 化学品和石油基于条件的维护 . 能源和公用事业基于条件的维护 . 电信市场活动管理 . 旅行和运输实时预测维护 .… 22 对机器数据应用分析，从而提高运营效率 大数据分析驱动商业价值 ©2014 IBM Corporation 太平洋西北地区智能电网 示范项目 利用的功能 流计算 数据仓库设备 成果 • 证明从 100 到 50 万个家庭的可扩 展性，同时保留 10 年的历史数据 • 在 5 个州有 6 万户电表客户 • 可容纳价格波动、能耗档案、风险、 欺诈检测、电网状况等专用分析 案例：大数据和分析在电力行业 23 大数据分析驱动商业价值 ©2014 IBM Corporation 都柏林城市中心；稳健和高 效的全市交通信息系统，增 强对事故的快速行动 需求 • 符合预算效益的解决方案，改进交通信 息系统 • 带来事件检测、推断交通条件（道路速 度）和公交车到站预测的准确性。 • 挑战是要正确地分析 GPS 数据，通常是 高数据吞吐量，并且难以捕获 获益 • 每天监视 150 条路线上的 600 辆公交 车 • 使用 InfoSphere Streams 分析每秒 50 个公交车位置更新 • 收集、处理和可视化所有公共交通车辆 的位置数据 案例：大数据和分析为智慧城市 24 大数据分析驱动商业价值 ©2014 IBM Corporation 利用技术进步从现有的数据仓库投资获得更多 的价值，同时降低成本 4. 数据仓库能力扩展需求 . 将流式传输和非结构化的数据源添加到现有的数据仓库 投资 . 优化数据仓库存储，并提供可查询的归档 . 合理化数据仓库，实现更好的简单性及更低的成本 . 提供更好的查询性能，支持复杂的分析应用程序 . 为业务经营提供洞察，实现实时决策 . 利用预测分析和商业智能实现性能和扩展 示例 . 预处理中心 . 可查询的归档 . 探索性分析 . 运营报告 . 实时评分 . 细分和建模 25 大数据分析驱动商业价值 ©2014 IBM Corporation Fiserv 在五年内节省 8 百万 美元，并帮助银行提高业务 成果 需求 • 中小型银行和信用社寻求吸引、留住和发展可盈 利的客户关系，同时利用分析功能与新的大型银 行竞争 获益 • 将数十亿美元的交易转化为可操作的洞察，帮助 这些银行提供目标性更强的产品，并使其营销资 金发挥最大作用 • 预期有针对性的市场营销活动的响应率增加 100％ 或更高 • 预期在五年内 IT 节省 8 百万美元 • 提供快速提供客户关键高质量可靠的分析洞察 • 减少客户流失及推广新产品使用 利用的功能：数据仓库 案例：大数据和分析在金融业 26 大数据分析驱动商业价值 ©2014 IBM Corporation 某汽车制造商 搭建全球化数据仓库 需求 .在全球整合现有 DW 项目 .提供实时的运营报告 .跨所有数据源获得新洞察 获益 .单一基础架构，以整合结构化、半结构化 和非结构化数据 .经过证明的企业级功能，可以实现快速部 署并且更易于管理 27 案例：大数据和分析在汽车制造业 大数据分析驱动商业价值 ©2014 IBM Corporation 谢谢！