东软公司电信行业数据仓库解决方案

不败枭雄

贡献于2011-12-27

字数:0 关键词: 数据挖掘 方案

东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 1 东软公司电信行业数据仓库解决方案东软公司电信行业数据仓库解决方案 东软公司电信事业部东软公司电信事业部 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 2 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 3 1.背景 • BI,Business Intelligence,最早由Gartner Group于上世 纪90年代提出。 – Gartner Group认为:商业智能技术提供使企业迅速分 析数据的技术和方法,包括收集、管理和分析数据, 将这些数据转化为有用的信息,然后分发到企业各处, 辅助商业决策的制定。 – IDC将BI定义为:终端用户查询和报告工具、OLAP工 具、数据挖掘软件、数据集市和数据仓库产品等软件 工具的集合。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 4 1.背景 • 与BI相关联的一个名词:决策支持系统 – Decision Support System,上个世纪70年代就提出来 了。是在MIS基础上发展起来的。 – 1980年Sprague 提出了DSS的三部件结构,即对话部 件、数据部件及模型部件。 • 决策过程 Intelligence Choice Implementation Feedback 情报 抉择 实施 反馈 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 5 1.背景 代表性系统 – 从现有的信息预测未来的信息,带有一定的不确定性。 财务模型 – 从现有的信息推导出其他的确定性信息。 分析信息系统 – 从多个数据源抽取并整合数据,支持企业分析行为。 数据分析系统 – 通过带有计算的复杂查询作出商业决策。 文件抽屉系 统 建议系统 – 根据现有的信息帮助制定可行方案。 优化系统 – 从现有信息基础上帮助选择最好的可行方案。 文件抽屉系统 – 通过简单的查询作出商业决策。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 6 1.背景 • 本世纪初,我国电信运营市场呈现出下列特征: – 营销重心从产品转向客户。 • 产品本身的竞争优势减弱,更新换代周期缩短; • 客户消费的个性化和层次化特征。 – 竞争越来越激烈 • 提高产品质量的同时,要求更好的服务,产品和服务的 界限越来越模糊; • 产品可替代性增强; • 运营商要求精益营销 – 变化成为常态 • 对经营信息的要求逐步提高:正确、及时、有针对性、主动。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 7 1.背景 生产 分系统 财务 分系统 市场 分系统 其它 分系统 中央 数据库 高级管理人员 (计划、控制、决策) 中级管理人员 (计划、控制、决策)管 理 信 息 系 统 业 务 处 理 系 统 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 8 1.背景 数据 信息 知识 Q 模式 Q 趋势 Q 事实 Q 关系 Q 模型 Q 关联 Q 序列 Q 目标市场 Q 成本组织 Q 市场选择 Q 营销策略 Q 客户资料 Q 帐务数据 Q CDR Q 用户投诉 Q 经济指标 Q 竞争对手 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 9 1.背景 Billing Data Call Detailed Record Data Customer Data Data Warehousing System Data Warehouse Cube Oh 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 10 1.背景 • 东软公司电信行业数据仓库成功案例: – 中国移动:北京移动 – 中国联通:集团公司、黑龙江联通、新疆联通、福建 联通、海南联通、湖南联通、湖北联通、山西联通、 江西联通 – 中国电信:河南电信、辽宁电信 • 一半以上的成功案例中我们选择了ORACLE9i作为数据 仓库服务器。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 11 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 12 2.数据仓库建设方法 业务系统1 业务系统n 数据集市1 数据集市m 数据仓库 业务系统1 业务系统n 数据集市1 数据集市m 数据仓库 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 13 2.数据仓库建设方法 确定经营分析系统目标 理解业务支撑系统模型 确定ODS主题 设计ODS概念模型 确定业务DB记录系统 设计ODS逻辑模型 设计DB-ODS抽取程序 理解企业商务模型 确定DW主题 设计DW概念模型 确定ODS记录系统 设计DW逻辑模型 设计ODS-DW抽取程序 ODS DW 企业数据仓库 定制统计与OLAP分析报表 数据挖掘、即席查询 知识管理 日常管理 与控制 专题分析 决策支持 分析手段 新的分 析需求 新需求 分析 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 14 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 15 3.系统体系结构-功能架构 数据构建 数据应用 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 16 3.系统体系结构 • ODS定义: – 用于支持企业全局业务处理应用的数据集合; – 面向主题的; – 集成的; – 可变的; – 反映当前或者接近当前的数据。 • DW定义: – 用于支持企业或者组织的决策分析处理的数据集合; – 面向主题的; – 集成的; – 稳定的(不可修改的); – 随时间不断追加数据的; 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 17 3.系统体系结构-数据架构 元 数 据 早期细节级 当前细节级 轻度汇总级 高度汇总级 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 18 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 19 4.软件功能简介 • 东软EBISP2.0总体功能结构 NE US OFT E bisp 数据应用 系统管理 固定报表 数据接口 统一监控 系统安全 管理 数据质量 管理 统一调度 需求流程 管理 业务支撑系 统 手工填报 数据 外部数据系 统 元数 据 数据仓库 主题分析 专题分析即席查询 元数据 管理 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 20 后台子系统 数据仓库构 建系统管理 元数据管 理 统一调度 营帐系统 前端展现 子系统 计费系统 结算系统 客服系统 分销商系 统 数据业务 系统 CRM系统 统一监控 数据接口 ETL 数据稽核 数据维护 专题分析 UBISP 内部子系统 UBISP 外部系统 后台子系统内部 模块 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 21 KPI定制 Ebisp系统 KPI 报表 框架管理 权限管理 页面定制 信息发布 协同办公 日志 门户 展现 知识库 其他辅助 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 22 UBISP内部子系统模块 前台展现子系统 元数据管理 统一调度 营帐系统 计费系统 结算系统 客服系统 分销商系统 数据业务 系统CRM系 统 统一监控 数据接口 ETL 数据稽核 数据维护 专题分析 UBISP外部系统 后台子系统内部模块 1 数据仓库 2 3,5,6,7 5 元数据 4 5,6,73 6,7 统一调度 统一监控 4 3 2 88 9 8 9 9 10 10 3,4,5,6,7,8, 9,10,11,12,13 cube生 成报表生成数据展现监控展现调度配置 元数据配置 15 1212 1314 13 16 17 11 11 11 8 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 23 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 24 5.支持的分析业务 有经营分析系统的人员配备情况 报表维 护人员 战术决策人员 日常管理与控制人员 战略决 策人员 日常管理报表 各种主题分析内容 专题分析报告 关键性能指标(KPI) 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 25 5.支持的分析业务 • 不同层面的服务对象对信息的要求不同,而且要求系统提供信 息支持的方式也不一样: – 领导(决策)层:要求统揽全局,及时了解企业关键性能的变 化情况;对重要问题的解决方案进行决策。 – 中间管理控制层:为已经发现的问题寻找原因,并制定解 决方案,并从多个解决方案中选择合理方案。 ↑-----先分析后数据-----↑ – 执行层:为上层管理人员提供反映企业现状的数据,并发 现企业的异常症状。 ↑-----先数据后分析-----↑ ª需要为不同层面的服务对象: #量身定制信息内容; #提供不同的信息服务方式; ª需要为不同层面的服务对象: #量身定制信息内容; #提供不同的信息服务方式; 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 26 5.支持的分析业务 阶段A(Acquisition): 客户获取 阶段B(Build-up): 客户提升 阶段C(Climax): 客户成熟 阶段D((Decline): 客户衰退 阶段E(Exit): 客户离网 客户价值客户价值分析 客户认别 向上销售 交叉销售 新套餐预演  套餐评估  套餐劝转 客户挽 留 客户赢 回 大客户分析 欠费分析 客户维 系 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 27 5.支持的分析业务 有序 本质集合 趋势分析 预测分析 特征化 对比分析 异常分析 what-if分析 划分 排名分析 构成分析 现象集合无序 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 28 5.支持的分析业务 • 划分的一般方法: – 排名:了解Top N或者Bottom N位的对象状态情况。 – 构成:分析某对象的总量结构组成成分。 • 特征化一般方法: – 对比:比较不同对象在相同时间的状态差异;比较相同对象在不同 时间的状态差异。 – 异常:分析某对象状态离开正常范围的程度和原因。 – what-if:也就是假设分析。 • 有序后常用的一般方法: – 趋势:了解某个对象在未来时间段上的发展态势。 – 预测:预测某个对象在未来时间点上的发展情况。 • 常用的数据仓库支持工具:报表、即席查询(ad hoc query)、OLAP、 数据挖掘等。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 29 5.支持的分析业务 客户、产品、资源、渠道、合作伙伴、竞争对手 PLM CLM排名、构成 对比、异常 What-if 趋势、预测 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 30 5.支持的分析业务 1、观察现象; 2、分析原因; 3、给出对策。 技术层面 业务层面 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 31 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 32 6.系统配置 数据库服务器 web服务器/OLAP服务器 各省分生产网 办公网 3 U 磁盘阵列 2 U 光纤交换机 ETL服务器/数据挖掘服务器 2 U FTP服务器(与其他系统共用) 光纤交换机 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 33 6.系统配置 • 我们选择ORACLE9i作为数据仓库服务器的效果: – 超强的稳定性:在我们的BI案例中还没有因为ORACLE9i 服务器的原因导致系统停止服务; – 透明的分区(partition)管理机制使得我们的开发人员毋须 自己物理地分割大的关系表,如客户表、话单表等,降低 了开发和维护成本; – 良好的查询优化机制和索引机制保证了系统的高性能; – SQL语句优化工具不仅提高效率,而且提高了开发人员编 写良好SQL的素质; – 良好的系统性能调优手段降低了系统的总体维护成本。 – 我们产品的竞争能力也受益于ORACLE良好的售后技术支 持能力。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 34 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 35 7.实践经验-技术研发经验 • 经营分析系统应该架构在数据仓库基础之上,而不应该直接根 植于业务支撑系统。 – 通过数据集成,形成企业的业务数据统一视图,统一 了经营分析数据源; – 通过集成使业务数据达到良好的一致性; – 对于业务支撑系统的性能没有影响; – 适应了数据源的变化; – 经营分析查询的性能得到保障。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 36 7.实践经验-技术研发经验 • 数据仓库主题的组织 – 弄清楚电信业务处理模型:营业、计 费、帐务、结算、客服、运维等; – 弄清楚决定OLTP系统状态变化的实体, 将他们作为ODS的主题; – 考虑电信经营商务模型:客户、产品、 渠道、合作伙伴、竞争对手、资源等, 结合分析目标确定DW的主题。 – 一般来讲,ODS和DW的主题大部分 是重叠的,但ODS的数据组织具有细 节性和广泛性,它不局限于现有的分 析目的,以便能够扩展支持未来的分 析要求。 客户 客户关系管理 (CRM) 基本业务提供 IN业务提供ISP/ICP 增值业务平台 传输网 数据网 本地网 IP数据网 代理商 自有业务提供或 第三方业务提供商 长途网 自有网络及其它网络提供商 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 37 7.实践经验-技术研发经验 • 数据质量保证手段 – 接口协议的完整性 – 接口数据的质量监控 – 对业务支撑系统的理解 – 报表指标的正确理解 – 数据的清洁(缺省值处理、一致性处理、类型检查、多数据源关联 约束检查等) – 不同类型数据的抽取与调度:定期和随时 – 错传、重传、迟传(包括漏传)数据管理 – 数据抽取与转换失败处理 – 岗位的设置及流程的规范(增加考核管理制度) 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 38 7.实践经验-技术研发经验 – 数据源的数据质量从外部决定了数据准确性,因此需 要增加业务支撑系统数据源的质量检测环节; – 对业务支撑系统业务处理流程的理解有助于数据源质 量检测; – 业务支撑系统和经营分析系统之间数据映射的正确理 解有助于消除数据理解不一致的问题; – 接口(正常、错传、迟传、漏传)的正确调度(时限、 告警、错误恢复、数据完整性检测) 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 39 7.实践经验-技术研发经验 • 重视元数据的管理与提供; – 商业元数据是经营分析人员使用 系统、正确理解经营信息的字典; – 技术元数据是系统管理人员、系 统维护人员以及二次开发人员的 字典。 • 提供知识管理功能; – 个性化信息定制; – 个性化信息展现; – 信息利用辅助等。 知识管理 固定报表 OLAP分析 数据挖掘 经营信息数据仓库(集中) 业务支撑系统数据库(分散DB) 从数据到信息的变换 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 40 7.实践经验-工程建设经验 • 需求调查 – 多轮 – 多部门 – 多层次 需求阶段 设计阶段开发阶段 实施阶段 第一阶段里程碑点 第二阶段里程碑点 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 41 7.实践经验-工程建设经验 • 与业务支撑系统建设厂商的配合 – 对业务支撑系统业务处理模型的理解; – 业务支撑系统数据模型的理解; – 数据处理隐含假定的理解 – 现有指标的计算规则的理解; • 与项目需求方各部门的配合(需求、应用) – 项目推进、诱导需求 – 整理需求、需求确认 – 开发模型、满足需求 – 系统培训、实际应用 – 应用反馈、效果评价 – 新一轮需求生成 分阶段逐步推进 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 42 7.实践经验-工程建设经验 • 用户培训 – 利用定制型统计报表展现企业现状,并根据异常症状发现企 业存在的问题; – 根据自己的经验判断现状可能产生的原因列表; – 利用定制型OLAP报表验证问题发生的原因;同时利用即席查 询了解某些个案的具体情况;反复进行归纳和演绎,争取尽 早发现问题产生的原因; – 利用定制数据挖掘结果报告进一步发现问题产生的深层次原 因,以期发现靠经验无法得到的问题原因;同时分析问题的 严重程度(对未来会产生什么影响); – 形成问题分析报告; – 高层决策人员根据问题分析报告制定解决策略,并对每种策 略进行预演式分析,选择一种策略执行; – 策略执行; – 策略效果分析; – 策略调整。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 43 7.实践经验-工程建设经验 • 关键成功要素(CSF): – 企业感受到来自竞争对手的压力; – 企业领导重视并亲自关心系统的建设; – 良好的技术体系支持; – 循序渐进地推广应用(切入点)。 • 后期持续不断地服务(领域专家、业务分析师、数 据仓库技术支持) – 不断增加的新需求的维护; – 业务管理模式的变化对系统提出的适应性要求; – 深层次的挖掘型分析需要不断地维护来保持模型 的可用性。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 44 提纲 • 1.背景 • 2.数据仓库建设方法 • 3.系统体系架构 • 4.软件功能简介 • 5.支持的分析业务 • 6.系统配置 • 7.实践经验 • 8.展望 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 45 8.展望 • 国际市场预测(IDC) – BI市场将以27%的年平均增长率发展,在这个市场中,终 端用户查询、报告和OLAP工具占绝对主流,达到65%。 – 最新发表的IDC研究报告显示,亚太地区商业智能软件市 场将以每年23%的速度增长,到2006年将达33亿美元。 (目前的市场价值是12亿) • 国内市场预测(赛迪网) – 经过2005年的强劲发展,中国商业智能(BI)软件市场销 售额达到10.15亿元人民币,年增长率达到54.96%。 – 赛迪顾问预计2006年中国BI软件市场规模将超过16亿元人 民币。 • 原因是2006年是我国WTO全面开放的一年,市场竞争 的激烈程度将加剧,金融、电信、政府、零售、制造等 行业对商业智能技术应用的需求将全面爆发。 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 46 8.展望 技术解决方案 ?% 定制应用解决方案 ?% 应用产品解决方案 ?% 流程融入解决方案 ?% 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 47 8.展望 • 在讲求TCO最小化的今天,东软公司的数据仓库解决方 案也在尝试使用合作伙伴的Total Solution。 • 我们也将继续关注并学习ORACLE公司的其它BI产品, 如: – ETL抽取工具 – OLAP服务器 – 前端展现工具 – 数据挖掘应用 – 平衡计分卡应用 – …… 东软公司电信行业数据仓库解决方案 2006年9月4日星期一 Telecom Division 48 谢谢!谢谢! NeusoftNeusoft Co. Ltd.Co. Ltd.

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 15 金币 [ 分享文档获得金币 ] 1 人已下载

下载文档

相关文档