ORACLE 数据仓库及商业智能解决方案

akingde

贡献于2012-07-07

字数:0 关键词: Oracle 数据库服务器 方案

ORACLE 数据仓库及商业智能解决方案 戴艳 Principle Solution Architect ORACLE数据仓库和商业智能 AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 Oracle #1 for Data Warehousing Source: IDC, 2007 – Data Warehouse Platform Tools 2006 Vendor Shares USD $1.8B Total Market = USD $4.4B Company/ Organization DB Size (GB) Platform DBMS Architecture DBMS Vendor System Vendor Yahoo! 100,386 Unix Unix Unix Unix Unix Linux Unix Windows Linux Unix Oracle Centralized/SMP Oracle Fujitsu Siemens AT&T 93,876 Daytona Federated/SMP AT&T HP KT IT-Group 49,397 DB2 Centralized/Cluster IBM IBM AT&T 26,713 Daytona Federated/SMP AT&T Sun LGR – Cingular Wireless 25,203 Oracle Centralized/SMP Oracle HP Amazon.com 24,773 Oracle RAC Centralized/ Cluster Oracle HP Anonymous 19,654 DB2 Centralized/MPP IBM IBM UPSS 19,467 SQL Server Centralized/SMP Microsof t Unisys Amazon.com 18,558 Oracle RAC Centralized/ Cluster Oracle HP Nielsen Media Research 17,685 Sybase IQ Centralized/SMP Sybase Sun Source: 2005 TopTen Program, November 2005 © Winter Corporation, Waltham, MA, USA 技术市场上的领导者 Winter Corp Top Ten Data Warehouses 唯一能在所有开放平台上都有 TB 级数据仓库成功案例的厂家 •Acxiom – 10 TB database – Compaq ES320 • Amazon.com – 6 TB database – HP Superdome • British Telecom – 82TB database – IBM NUMA • France Telecom – 65TB database – HP Superdome •First USA – 12 TB database – IBM SP • MasterCard – 10 TB database – Sun E10000 • NASD – 8 TB database – IBM(NUMA) • Korea Telecom – 18 TB database – IBM SP • MaxMobile – 2.2 TB database – Sun E6500 • Telecom Italia Mobile – 5 TB database – Compaq GS140 cluster •UPS – 5 TB database – HP V2500 • 7-Eleven Japan – 10 TB database – HP Superdome 超过 200 个以上的 TB 级数据仓库用户案例 Oracle 7.3 Oracle的数据仓库特性 25 年不断的创新 z Partitioned Tables and Indexes z Partition Pruning z Parallel Index Scans z Parallel Insert, Update, Delete z Parallel Bitmap Star Query z Parallel ANALYZE z Parallel Constraint Enabling z Server Managed Backup/Recovery z Point-in-Time Recovery Oracle 8.0 z Hash and Composite Partitioning z Resource Manager z Progress Monitor z Adaptive Parallel Query z Server-based Analytic Functions z Materialized Views z Transportable Tablespaces z Direct Loader API z Functional Indexes z Partition-wise Joins z Security Enhancements Oracle9i z List and Range-List Partitioning z Table Compression z Bitmap Join Index z Self-Tuning Runtime Memory z New Analytic Functions z Grouping Sets z External Tables z MERGE z Multi-Table Insert z Proactive Query Governing z System Managed Undo Oracle8i Oracle10g z Self-tuning SQL Optimization z SQL Access Advisor z Automatic Storage Manager z Self-tuning Memory z Change Data Capture z SQL Models z SQL Frequent Itemsets z SQL Partition Outer Joins z Statistical functions z and much more ... 信息共享信息发现与管理数据整合 抽取管理 作业调度 数据库管理 元数据管理 安全访问控制 结算 营帐 计费 客服 Oracle数据仓库体系架构 用户 数据仓库 数据模型 数据源 ETL 数据存储管理 信息模型 数据展现 随即报表 企业内外网 生产报表 预测分析 门户集成 随即查询 报表 多维分析 数据挖掘 决策人员 管理人员 分析人员 业务人员 Standardization & Transform Reconciliation ETL 解决方案 抽取转换 Weekly snapshot Daily changes Daily Month Daily Periodic Oracle Warehouse Builder Oracle Data Integrator Oracle DB OLAP Option Data Mining Option Oracle BI EE+ Hyperion Essbase Oracle10g Oracle10g DBDB Relational ETL OLAP Data Mining Portal Query Reporting OLAP Oracle10g Oracle10g ASAS • 整合的数据处理: ETL,OLAP,数据挖掘 • 整合的数据访问: 报表,查询,分析,门户 Oracle整合的数据仓库平台 低成本,低风险 • 整合的元数据管理: 支持CWM 标准 Consolidated vs. Integrated 分析员 管理员 AgendaAgenda议程议程 数据存储和管理 Oracle 10g-海量数据处理能力 数据分区 Oracle Partitioning 10 years of innovation Core functionality Oracle8 Range partitions, global range index Oracle8i Hash and composite range-hash partitioning Oracle9i List partitioning Oracle9i R2 Composite range-list partitioning Oracle 10g Global hash indexes Oracle 10g R2 1M partitions per table New composite partitioning: range-range, list-range, list-list, list-hash Partitioning by reference Virtual column partitioning Automatic interval partitioning Virtual Columns - Example 12500 Adams 12507 12Blake 12666 12 12875 12Smith King CREATE TABLE accounts (acc_no number(10) not null, acc_name varchar2(50) not null, ... acc_branch number(2) generated always as (to_number(substr(to_char(acc_no),1,2))) 12 • Base table with all attributes ... • ... is extended with the virtual (derived) column Interval Partitioning How it works CREATE TABLE sales (order_date DATE, ...) PARTITON BY RANGE (order_date) INTERVAL(NUMTOYMINTERVAL(1,'month') (PARTITION p_first VALUES LESS THAN ('01-FEB-2006'); Table SALES Jan 2006 ... ... Feb 2006 Mar 2006 Jan 2007 Oct 2009 Nov 2009 ... First segment is created Table SALES Jan 2006 ... ... Mar 2006 ... Feb 2006 Jan 2007 Oct 2009 Nov 2009 INSERT INTO sales (order_date DATE, ...) VALUES ('04-MAR-2006',...); New segment is automatically allocated CREATE TABLE sales (order_date DATE, ...) PARTITON BY RANGE (order_date) INTERVAL(NUMTOYMINTERVAL(1,'month') (PARTITION p_first VALUES LESS THAN ('01-FEB-2006'); Interval Partitioning How it works REF Partitioning Table ORDERS Jan 2006 ... ... Feb 2006 Table LINEITEMS Jan 2006 ... ... Feb 2006 •RANGE(order_date) • Primary key order_id • RANGE(order_date) • Foreign key order_id PARTITION BY REFERENCE • Partitioning key inherited through PK-FK relationship • Proven functionality in 7th generation – experience comes with age and customer usage • Fundamental concepts for success – the most comprehensive and complete offering • 8th generation introduces ground-breaking new functionality – extended COMPOSITE strategies further flexibility and performance – INTERVAL for simplicity, ease of management – VIRTUAL COLUMNS extend applicability with low maintenance – REF enhanced performance for related tables Oracle Partitioning Summary 索引 位图连接索引-提升连接查询的性能 • 连接索引能显著的提升连接查询的性能 – 多个最终用户查询两张表的重复连接时可用 • 存储为位图索引结构以使索引高度压缩 – 减少存储空间和更好的压缩 管理能力提升 实现的效果 CREATE BITMAP INDEX cust_sales_bji ON Sales(Customer.state) FROM Sales, Customer WHERE Sales.cust_id = Customer.cust_id; 销售 客户 索引关键字是 Customer.State Sales(Customer.state)Sales(Customer.state) 索引表是 Sales 数据装载 Oracle10g数据加载技术 可传输的表空间 • 直接复制操作系统文件 • 只需要Exp/Imp数据字典 • Oracle 10g可以跨平台 BSS/OSS 数据仓库 可传输的表空间和范围分区技术结合实 现ETL的步骤 (1) • 把需要传输的数据放在单独的表空间 CREATE TABLE temp_jan_sales NOLOGGING TABLESPACE ts_temp_sales AS SELECT * FROM sales WHERE time_id BETWEEN '31-DEC-1999' AND '01-FEB-2000'; • 设置表空间为只读状态 ALTER TABLESPACE ts_temp_sales READ ONLY; • 导出数据字典 EXP TRANSPORT_TABLESPACE=y TABLESPACES=ts_temp_sales FILE=jan_sales.dmp • 拷贝数据文件和数据字典到数据仓库服务器 可传输的表空间和范围分区技术结合实 现ETL的步骤 (2) • 导入数据字典 IMP TRANSPORT_TABLESPACE=y DATAFILES='/db/tempjan.f' TABLESPACES=ts_temp_sales FILE=jan_sales.dmp • 通过分区交换,将新数据加入目标表 1. ALTER TABLE sales ADD PARTITION sales_00jan VALUES LESS THAN (TO_DATE('01-feb-2000','dd-mon-yyyy')); 2. ALTER TABLE sales EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_jan INCLUDING INDEXES WITH VALIDATION; 外部表 (External Table) 多表插入 (Multi-Table Insert) 一种新的Insert语句 : INSERT FIRST WHEN cust_credit_limit >=4500 THEN INTO customers_special VALUES(cust_id,cust_credit_limit) ELSE INTO customers SELECT * FROM customers_new; 合并插入 MERGE INTO products t USING products_delta s ON t.prod_id=s.prod_id WHEN MATCHED THEN UPDATE SET t.prod_list_price=s.list_ price, t.prod_min_price=s.min_price WHEN NOT MATCHED THEN INSERT (prod_id,prod_name,..,prod_list_price, prod_min_price) VALUES (s.prod_id, s.prod_name, .., s.list_price, s.min_price); 先进的压缩技术 Oracle 的压缩技术 Table Compression Overhead Free Space Uncompressed Compressed Inserts are uncompressed Block usage reaches PCTFREE – triggers Compression Inserts are again uncompressed Block usage reaches PCTFREE – triggers Compression • Adaptable, continuous compression • Compression automatically triggered when block usage reaches PCTFREE • Compression eliminates holes created due to deletions and maximizes contiguous free space in block 结构化数据压缩 用于 OLTP 和数据仓库应用程序 • Oracle 在 Oracle9i 数据库中引入了表压缩功能 – 支持批量加载操作 – 不支持DML压缩 • Oracle 数据库 11g 扩展了针对 OLTP 数据的压缩 – 支持可转换的 DML 操作 – 支持在压缩的表上添加/删除列 • 显著减少磁盘空间消耗 – 通常为 2 到 3 倍 • 提高查询的性能 – 对于运行时间较长的查询,性能最多可提高 2 倍 • 读取压缩的数据时不再需要解压缩 • 对应用程序完全透明 其它特性 Information Lifecycle Management( ILM -数据生命周期管理) Oracle 10g – 自我管理的数据库 智能化基础架构 应用和SQL管理 系统资源管理 空间管理备份和恢复管理 存储管理 自动数据库 诊断监视 • 自动化日常工作 – 自动化存储管理 – 自动化基于磁盘的备份和恢复 – 自动化统计信息搜集优化 – 自动化PGA和SGA内存管理 • 内置智能架构 – 工作负载信息库 • 为加强DBA提供的工具 – 自动数据库诊断监控器 – 自动性能调优器 • 单一参数: SGA_TARGET • 根据工作负荷自动调节 • 最大化内存使用 • 避免内存溢出错误 SGA PGA Large Batch Jobs sort Java Pool SQL Cache Large Pool Buffer Cache SQL Cache sort Online Users Large Pool Buffer Cache Java Pool 日常维护管理 -自动的共享内存(SGA)优化 日常维护管理 -PGA区的优化 • 单一参数: PGA_AGGREGATE_SIZE = • 基于当前查询负载动态分配内存 • 代替以前版本中的 SORT_AREA_SIZE, HASH_AREA_SIZE, etc. • 好处: – 提高性能 – 简化管理 11g的自动内存管理:Memory target Untunable PGA Free Buffer cache Large pool Shared pool Java pool Streams pool SQL Areas Other SGA SGA Target PGA Target 10g&11g OLTP P G A m e m o r y S G A m e m o r y BATCH Buffer cache Large pool Shared pool Java pool Streams pool SQL Areas Other SGA Untunable PGA Free BATCH Buffer cache Large pool Shared pool Java pool Streams pool Other SGA SQL Areas Untunable PGA SGA Target PGA Target 11g Memory Target 唯一能在所有开放平台上都有 TB 级数据仓库成功案例的厂家 •Acxiom – 10 TB database – Compaq ES320 • Amazon.com – 6 TB database – HP Superdome • British Telecom – 82TB database – IBM NUMA • France Telecom – 65TB database – HP Superdome •First USA – 12 TB database – IBM SP • MasterCard – 10 TB database – Sun E10000 • NASD – 8 TB database – IBM(NUMA) • Korea Telecom – 18 TB database – IBM SP • MaxMobile – 2.2 TB database – Sun E6500 • Telecom Italia Mobile – 5 TB database – Compaq GS140 cluster •UPS – 5 TB database – HP V2500 • 7-Eleven Japan – 10 TB database – HP Superdome 200+ TB 级以上的数据仓库用户案例 AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 ORACLE集成OLAP保证信息的一致性 -避免数据分散和信息不一致 • 传统的方法 • Oracle的方法 Oracle OLAP的发展历程 SQL Star Queries Cubes but no SQL access SQL Views over Cubes Transparent SQL Rewrite to Cubes Oracle10g 同时支持ROLAP和MOLAP SQLSQL应用应用 OCI or JDBC Select … from View/table Relational Multidimensional JAVA JAVA 应用应用 SQL GeneratorSQL GeneratorSelect … from View/table OLAP API KPRB OCI or JDBC Select … from OLAP_TABLE ‘‘OLAP awareOLAP aware’’ SQL SQL 应用应用 •DBMS_AW.EXECUTE •DBMS_AW.INTERP •DBMS_AW.INTERPCLOB Select … from view RDBMS ViewRDBMS View Table FunctionTable Function Oracle OLAP的发展历程 SQL Star Queries Cubes but no SQL access SQL Views over Cubes Transparent SQL Rewrite to Cubes Oracle11g - Cube-Organized Materialized Views New Features in Oracle Database 11g Cube MV Cube OrganizedCube Organized MV representingMV representing summary datasummary data Tables Detail data managed in Detail data managed in relational tablesrelational tables SQL QuerySQL Query Summary dataSummary data managed in cubesmanaged in cubes DatabaseDatabase--managedmanaged refreshrefresh QueryQuery RewriteRewrite • Detail data is stored in relational tables • Application queries relational tables with SQL • Summary data is managed by OLAP cube • Access to summary data occurs via automatic query rewrite to the cube • Application is unchanged, but updates and queries are faster 访问OLAP的三种方式 SQL BI Application Cube Views SQL Multidimensional BI Application OLAP API SQL BI Application Cube Materialized Views SQL SQL Query Rewrite Oracle Cube Why Oracle OLAP? • Compared to Relational Aggregates – faster to create – efficient storage for large numbers of dimensions – can benefit unknown aggregates – faster to maintain • Object and data security for OLAP cubes – managed using Oracle database • Fully compatible with: – Real Application Clusters and Grid Computing • Cubes are easily queried using SQL Oracle内置的数据挖掘引擎 - Data Mining Option • In-Database Mining Engine – wide range of algorithms • anomaly detection • 重要属性筛选 – Attribute Importance • 有监督学习 (分类、预测与回归) –Naïve Bayes(朴素贝叶斯) – Adaptive Bayes Networks (自适应贝叶斯网络) – Support Vector Machines (支持向量机) – Decision Tree • 无监督学习 (关联与聚类) – Association Rules (关联规则) – Orthogonal Partitioning Clustering (正交分区聚类) – Enhanced k-means Cluster (改良的k-means 聚类) • 特征抽取 – Non Negative Matrix Factorization (非负矩阵分解) • Text Mining (文本挖掘) – 将结构化和非结构化数据结合的能力 • BLAST (life sciences similarity search algorithm) • multivariate linear regression; • logistic regression • Oracle Data Miner (GUI) – simplified, guided data mining • Spreadsheet Add-In for Predictive Analytics – “1-click data mining” from a spreadsheet • PL/SQL API & Java (JDM) API – develop advanced analytical applications ODM的PL/SQL API - Example 1 How much revenue did we generate last year from customers who live in Australia and we believe are likely to churn? Select sum(s.amount_sold) from sales s, customers c where s.cust_id = c.cust_id and c.country = ‘Australia’ and prediction (classmodel using c.*) = ‘Churn’; ODM的PL/SQL API - Example 2 Given our mining segmentation, how many customers are in each segment and what are their average salaries? Select cluster_id(clusmodel using *), count (*), avg (salary) from customers group by cluster_id (clusmodel using *); • Simplified development and deployment of models – supermodels: data preparation combined with mining model – tighter database integration – DMSYS schema eliminated; improved sharing of objects, security, manageability • New algorithms: “General Linear Models” – multivariate linear regression; logistic regression • basic tool for microeconomics analysis and business decision-making. Indicate the impact of different attributes on a key performance indicator. “What is the impact on SUVs sales if the price of gas goes up by a $1.00?” Oracle Data Mining 11g New Features in Oracle Database 11g Oracle 数据挖掘的优势 特点 带来的效益 关系数据库、多维数据库和挖掘引擎的 统一平台 • 单一数据: 消除数据迁移,节省软、硬件和人 力成本 • 加速数据->信息->企业效益的过程 • 高安全性: 由 Oracle 数据库确保 先进的算法 • 保证模型的高效 方便的打分引擎、模型部署以及与应用 的无缝集成 • 方便分析人员和业务人员使用挖掘的成果 充分利用Oracle数据库的先进技术 • 网格(群集),海量数据处理… • JAVA, PL/SQL接口,方便开发 • 充分利用现有的DBA资源 Oracle数据仓库平台的整体优势 • 平台的开放性 – 支持所有开放平台,避免昂贵的升级费用 • 软件的成熟性 – 大量的TB级数据仓库用户案例 • 支持高端平台 –64位操作系统,大容量内存(>32GB) • 大数据量管理 – 分区:7种混合、interval、Ref、Virtual column – 索引:位图连接索引 – 查询重写:MV/OLAP Cube – 压缩 – 自动存储管理 –ILM –… • 系统的扩展性 – 通过RAC进行扩展 • 准实时的数据采集和集成 – Stream方式 – ETL->OLAP->DM的无缝集成 AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 Oracle 数据整合、数据质量管理工具 Oracle Warehouse Builder OWB完成数据中心数据处理流程 • 关系性数据 • 平面文件 • 应用 • 主机 Oracle 调度执行6 生成PL/SQL代码4 设计目标数据库模型1 映射源数据3 部署5设计库 目标数据库 源数据 Oracle Warehouse Builder 2 识别源数据 Oracle Warehouse Builder主要功能 • 多数据源支持 –Oracle,Sybase, DB2, SQL Server – Oracle Streams – 文本文件、XML文件 – 应用系统( Oracle ERP,SAP ) • 数据仓库模型设计 –3NF、星形模型、多维模型 – 逻辑模型和物理模型 •ETL流程设计 – 可重用的ETL部分形成Pluggable Mapping – 实时数据集成 - CDC – 可传输模块 – 转换方法库 – 专家经验库-最好的经验和向导式执行 – 通过Oracle Data Mining丰富数据 • 元数据管理 – Common Warehouse Metadata – 用户定义对象和图标 – 自定义元数据捕获 • 支持数据质量管理: – 数据特征分析 – 数据规则 – 数据修正 – 数据审计 图形化的ETL 设计 专家经验捕获 • 可重用的OWB模块 – 定义最好的经验和向导 • 独立运行或者在OWB Design-time中 • 声明式定义和向导执行 • 例如 “数据移动”专家 – 为用户提供下述数据移动功能: • Table-to-Table • File-to-Table 影响分析-Impact Analysis • 数据特征分析(data profiling) • 数据规则(data rules) • 数据校正(data correction) • 审计(audit) 数据质量管理 抽取 Change Data Capture External Tables SQL*Loader Data Pump Transportable Tablespaces Multi-Table Insert MERGE Distributed Queries Table Functions 加载 转换 插入 OWB充分利用Oracle数据库的特征 Oracle 数据整合、数据质量管理工具 Oracle Data Integrator 特性 : E-LT 架构 高性能 传统的 ETL架构 E xtract L oad T ransform 新一代架构 “ E-LT” “ E-LT” L oad E xtract Transform T ransform 在单独 ETL服务器上进行转换 • 私有的引擎 • 性能差 • 高成本 在已有的关系数据库上进行转换 • 充分利用资源 • 效率高 • 高性能 好处 9 最佳的高性能、可扩展性 9 易管理、低成本 9 实现实时数据仓库和操作型数据集线器(Data Hub) 9 作为服务嵌入到Oracle SOA套件中,实现全面的整合 Oracle Data Integrator Data-oriented Integration Event ConductorEvent Conductor Event-oriented Integration Service ConductorService Conductor Service-oriented Integration Declarative Design Metadata Data ConductorData Conductor 特性: 实时整合 批量的, 基于事件的, 面向服务的整合 • 在通用平台上,实现近实时的数据仓库功能 • 统一的数据整合 • 保证数据完整性 • 可作为服务嵌入到Oracle SOA 套件中 • 好处 Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse Engineer Metadata 9 基于现有的最佳实践经验 9 容易管理工作 9 降低成本 Reverse Journalize Load Check Integrate Services 基于知识模块的热插拔架构 CDC Sources Staging Tables Error Tables Target Tables WS WS WS SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload Type II SCD Oracle Merge Siebel EIM Schema Oracle Web Services DB2 Web Services 外部的知识模块示例 好处 特性: 知识模块 热插拔: 组件化的, 灵活的, 可扩展的 • 发布和订阅的CDC框架 – 数据库日志 – 触发器 – 第三方解决方案 • 确保多表读事务的一致性 1. 设置CDC参数 2. 添加增量存储到CDC 3. 添加订阅者 4. 启动日志 CDC ODI 变化数据捕获过程 实时功能:基于消息的集成 • 与发布和订阅JMS消息的软件集 成 • 保证消息传递的事务完整性 • 大数据量的批量转换 1. 设计复杂的批量转换,混合了 队列、数据库和应用 2. 使用JMS队列和主题作为源或 者目标 JMS Provider (MOM, ESB) CDC Subscribe Publish SOA功能:数据访问和流程服务 SOA Infrastructure Services Data Access Transform Business Business Processes ESB • 生成和共享数据访问服务 1. 生成和部署数据服务 2. 测试数据服务 3. 让数据服务在SOA架构中发挥作用 • 使得数据转换变成为一个Web Service 1. 编排数据流程 2. 以Web Service形式发布数据流程到 你的SOA架构中 架构: 概念视图 ODI Design-Time Environment Development Servers and Applications Design-time Repositories Code Execution Execution Log Return Codes Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Files / XML User Interfaces Administrators Designers Topology/Security Metadata/Rules Development ESB Production Servers and Applications ODI Runtime Environment Runtime Repository Return Codes Code Execution Log Execution Metadata Navigator Production CRM Legacy ERP Data Warehouse Files / XML ESB User Interfaces Administrators Operators Thin Client Data Stewarts Topology/Security Execution Log Metadata Lineage Agent Data Flow Conductor Scenarios and Projects Releases ODI Design-Time Environment ODI Runtime Environment User Interfaces ODI的 6 个操作步骤 1. 导入/完善元数据 2. 设计转换 3. 定义数据流 4. 生成/部署数据流 5. 运行监控 6. 影响分析/数据关联 Development Development Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Files / XML User Interfaces Administrators Designers ESB Design-time RepositoriesDesign-time Repositories Production Production Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Files / XML Operator Metadata Navigator ESB Runtime Repository 1. 导入元数据 – 自动的 – 客户化的 – 支持40+ 技术平台 2. 完善元数据 – 文档化 – 定义数据完整性规则 – 跨技术平台的参照完整性 Design-Time Environment ODI Designer Design-time Repositories Development Servers and Applications CRM Legacy ERP Data Warehouse Files / XML ESB 导入/完善元数据11 Oracle Data Integrator “Interface” Declarative Design 11 定义你需要什么 33 自动生成转换(数据)流 22 定义如何做: 选择模板 批量加载 • 变化数据捕获 • 增量更新 • 缓慢变化维 设计转换22 1. 确定转换流程 2. 使用ODI 的工具 – 数据质量处理 – 文件/档案管理 – 发送/接收Email – 调用Web Services – 事件捕获 – 创建自己的工具 3. 用来控制结构 – 循环 – 条件 – 出错捕获 33定义数据流 1. 创建Scenarios – 编译运行的数据流 2. 版本化数据流 – 高级的版本管理 3. 部署到生产环境 Design-time Repositories Scenarios and Projects Releases Runtime Repository 生成/部署数据流44 • 实时监控运行进程 • 检查执行脚本 • 详细的运行统计信息 • 重新启动失败的进程 55运行监控 影响分析/数据关联 • 在复杂的环境中,维护大量的数据流 • 基于Web的端到端的数据关联分析 1. 了解你的数据流 2. 跟踪数据路径 3. 钻取到转换? 66 OWB和ODI的融合 Integrating with Oracle Data Integrator ODI ODI Repository Design ODI Interfaces and KMs Interfaces ODI UI OWB OWB UI OWB Repository Verify ODI KM Apply KM to Map Deploy map to J2EE Start map KMs Import any KM from ODI Import any interface from ODI repository Verify interfa ce Add OWB Xforms Deploy map to J2EE Start map KMs Maps J2EE Agents Execute on any platformExecute any ODI interface ODI vs. OWB DI和OWB是互为补充的,ODI有四个地方是对OWB的很好的补充: 1. 对于需要异构数据支持:当数据源或者目的不是Oracle数据库,ODI能够生成 针对那个数据源的native的SQL操纵语句。 2. 对于需要实时数据集成的环境:ODI能够检测事件,一个事件可以触发ODI的 一个接口流程。从而完成近实时的数据集成。 3. 在数据抽取集成过程中需要和SOA集成,ODI本身提供了call web service的机 制,并且ODI的接口也可以暴露为webService,从而可以和SOA环境进行交互。 4. 一致的CDC(Change Data Capture)支持,不同的数据源(Oracle,DB2等)对 于变化数据获取都提供了不一样的技术框架,ODI把这些不同的技术框架屏蔽 了,以一个统一的接口方式提供统一的CDC的设置框架,并提供订阅者的功能。 而OWB相比于ODI也有自己的很多特点: 1. 丰富的Oracle数据运算符,能够提供Oracle数据库之间的高速转换抽取。 2. 从11g开始,OWB会作为Oracle的标准选件来提供,OWB本身会通过Oracle数 据库的安装盘来安装,和所有的其他Oracle选项一样,都会和数据库核心紧密集 成。 3. 数据质量管理:OWB的data profiling是一个相当强的数据质量管理工具,原理 和流程是 数据采样-》分析采用数据的错误和规则-》生成纠正采样数据的 mapping流程-》验证流程-》把流程应用到所有的数据上的循环。 AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 Oracle BI Suite Enterprise Edition Plus Oracle商务智能企业版+ OLTP & ODS Systems Data Warehouse Data Mart SAP, Oracle PeopleSoft, Siebel, Custom Apps Files Excel XML Business Process Financial Performance Management Applications Insight Performance Action Set Goals Plan Monitor Analyze Report Align Hyperion Essbase Oracle BI Server Common Enterprise Information Model Reporting & Publishing BI Publisher Interactive Reporting Hyperion BI Tools … Ad hoc Analysis Proactive Detection and Alerts Microsoft Office Interactive Dashboards Oracle 商务智能企业版架构概述 XMLA DW Web ServerWeb Server HTML/XML Oracle商务智能Web服务器 EBS OLTP SQL EAI Web Server 数据访问和查询生成 企业业务模型 集成和计算 EDW Oracle 商务智能服务器 ODBC Oracle Interactive Dashboard 实时,交互信息仪 表板 Oracle Answers 即席查询,分析 Oracle Delivers 主动监控和预警 Oracle Mobile Analytics 移动设备用户 Open Web- services Interface 热插拔的开发平台 Oracle Analytics Server This is the OLTP data-model in the BI EE “Physical” layer Oracle Analytics Server And this is what it looks once converted into “Logical” Star Schemas Physical Layer: Efficient Access to Enterprise Data Sources Physical Layer – “Intelligent Request Generation” Reads in system catalog • Multiple sources • Optimized SQL generation • Regardless of Schema • Function ship to appropriate data sources/Compensation DB2 Supply Chain DM Teradata OLAP Oracle Back Office Fin. XML Data Source SQL Server Acxiom Siebel Operational Logical Model: Logical View Provides Simple, Consolidated Access Business Model Layer Business Model Layer –– ““Calculation EngineCalculation Engine”” Physical complexity Physical complexity abstracted into logical abstracted into logical subject areassubject areas DrillDrill--PathsPaths Complex/Derived Measures Complex/Derived Measures (Level(Level--based, time series, based, time series, dimensiondimension--specific, nested)specific, nested) Aggregate/Fragment AwareAggregate/Fragment Aware Presentation: All Data Access is Role- based and Secure Presentation LayerPresentation Layer ••RoleRole--based, in context, personalized based, in context, personalized presentation presentation –– Siebel AnswersSiebel Answers 交互式信息板中的指导性分析 动态、事件驱动的分析驱动着正确行为 通过建模、实施发现和决策制定最佳实践,利用指导性分析在组织内推 动调整并采取相应措施。 指导性分析利用了信息板到信息板导航,该导航可将上下文(参数)从一个信息板传递到 下一个信息板,并且在 OBIEE 中易于配置。 Interactive Dashboards 离线分析 随时随地掌握企业的动向 向外出的决策,分析人员和一线员工提供不与公司网络相连的交互式信息仪表板和特 定分析。 Oracle Operational OracleOracle DisconnectedDisconnected DataData Disconnected Metadata & Report Definitions Web Catalog Presentation Metadata • Business ModelDisconnected BI Server • Server Cache • Calculations • 自动分析、检测和提供智能 • 在任何设备上和信息板中发送通 知 • 多步骤分析和工作流 • 创建和共享警报 • 自助订阅 通过 Oracle Delivers 察觉和响应 实时的预测性智能 Delivers 可跨所有数据源提供对问题和机会的持续监视、分析和通知, 还可针对任何设备上的任何用户进行定制。 Proactive Detection and Alerts Interactive Dashboards实时信息监控 快速响应、先发制人 支持SOA架构 保障您的投资 Web Browser Support • Support for Netscape and Mozilla Firefox Microsoft Office and Reporting Services • Full BI functionality exposed via Web Services • Websphere Portlet SDK • Open SQL-Based API SOA and Open Standards • Bi-directional support for Microsoft 全面的商务分析应用 Sales Analytics Financial Analytics Workforce Analytics Supply Chain Analytics Service & Contact Center Analytics Marketing Analytics Pipeline Analysis Triangulated Forecasting Sales Team Effectiveness Up-sell / Cross-sell Discounting Analysis Lead Conversion Cost Analysis Customer Profitability Product Profitability Regulatory Compliance Expense Management Cash Flow Analysis Churn Propensity Customer Satisfaction Resolution Rates Service Rep Effectiveness Service Cost Analysis Service Trends Campaign Scorecard Response Rates Product Propensity Loyalty and Attrition Market Basket Analysis Campaign ROI Supplier Performance Inventory Analysis Bookings, Billings and Backlog Partner Portal Analytics Partner Service Trends Partner Campaign ROI Employee Productivity Compensation Analysis Compliance Reporting Workforce Profile Turnover Trends Return on Human Capital Travel & Trans Auto Comms. & Media Complex Mftg. Consumer Sector Energy Financial Services High Tech Insurance & Health Life Sciences Public Sector Other Operational & Analytic Sources AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 Oracle数据仓库平台的整体优势 • 平台的开放性 – 支持所有开放平台,避免昂贵的升级费用 • 软件的成熟性 – 大量的TB级数据仓库用户案例 • 支持高端平台 –64位操作系统,大容量内存(>32GB) • 大数据量管理 – 分区:7种混合、interval、Ref、Virtual column – 索引:位图连接索引 – 查询重写:MV/OLAP Cube – 压缩 – 自动存储管理 –ILM –… • 系统的扩展性 – 通过RAC进行扩展 • 准实时的数据采集和集成 – Stream方式 – ETL->OLAP->DM的无缝集成 Oracle BI EE+助您实现更多价值 满足企业信息展现、发布基本需求: 9完整的功能 9友好的用户界面 9安全、可靠 9统一、高效 提升信息价值: 9导航分析 9离线分析 9工作流集成 9实时信息监控 9支持SOA架构 AgendaAgenda议程议程 • Oracle数据仓库解决方案介绍 – 数据仓库平台 –Oracle OLAP – Oracle Data Mining – 数据整合、数据质量管理 • Oracle商业智能解决方案 – BI EE plus • Oracle 解决方案的优势和特点 • 成功案例 Oracle Data Warehouse —Business Intelligence Customers in JAPAC Oracle 数据仓库中国部分客户 通信 – 福建电信 – 新疆电信 – 海南电信 – 昆明电信 – 长沙电信 – 深圳电信 – 江苏移动 – 宁夏移动 – 黑龙江移动 – 吉林移动 – 辽宁移动 – 天津移动 – 河南移动 – 宁夏移动 – 中国联通 – 北京联通 – 浙江联通 – 吉林联通 – 黑龙江联通 – 内蒙古联通 – 辽宁联通 – 天津联通 – 广东联通 – 福建联通 – 江西联通 – 重庆联通 – 四川联通 – 甘肃联通 – 陕西联通 – 青海联通 – 中国网通 – 山东网通 – 天津网通 政府 – 北京市国家税务局 – 北京市地方税务局 – 南京市地方税务局 – 济南市地方税务局 – 成都市地方税务局 – 山东市地方税务局 – 浙江社保 – 重庆社保 – 江西省政府 – 国家统计局 – 北京市交管局 – 浙江公安 – 中科院 – 江苏统计局 – 中国电子商务中心 – 香港贸易发展局 – 香港运输署 – 香港海关 – 香港理工大学 交通运输 – 中国民航信息中心 – 中国货运航空公司 – 东方航空公司 – 南方航空公司 – 国泰航空公司 – 和记黄埔港口 – 台湾長榮航空 – 台湾陽明海運 – 台湾萬海航運 零售 – 欧尚 – 台湾統一企業 – 台湾全家便利商店 – 台湾燦坤集團 金融 – 广东工商银行 – 中国农业发展银行 – 深圳建设银行 – 四川建设银行 – 国家开发银行 – 上海商业银行 – 东亚银行 – 永隆银行 – 香港交通银行 – 台湾第一银行 – 大新银行 – 平安保险 – 上海证券交易所 – 广东证券 – 元大金华证券 – 中信世华证券 – 台湾元大京華證券 – 台湾华南金控 制造 – 南京汽车 – 长安汽车 – 狮王啤酒 – 武汉丽花丝宝 – 上海施贵宝 – 上海第一钢铁厂 – 上海光明乳业 – 龙岩卷烟厂 – 浙江烟草 – 宁波镇海炼化 – 西安杨森 – 中钢铝业.台湾 – 中国石化 – 镇海炼化 – 上海一钢 – 广州医药管理公司 高科技 – PCCW –Sony – 朗讯 – 华为 – 上海广电集团 – 中国普天集团 – 友達光電.台湾 – 威盛電子.台湾 – 台積電.台湾 – 茂德科技.台湾 – 敦南科技.台湾 – 摩托罗拉能源 – 中国石油天然气股份有限 公司 – 上海电力 医疗 – 台湾羅東博愛醫院

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享文档获得金币 ] 1 人已下载

下载文档

相关文档