海量数据环境下的Oracle数据库系统架构设计和优化思路

sweetbaybe

贡献于2012-06-03

字数:0 关键词: 分布式/云计算/大数据

谭怀远 alantany 2012.4 海量数据环境下的分布式 Oracle数据库系统架构设 计和优化思路 DTCC2012DTCC2012 内容大纲 分布式数据库系统的架构设计 2 分布式数据库的优化思路 3 3 大数据时代的到来 3 1 其他替代产品和技术展望 3 4 DTCC2012DTCC2012 大数据时代-无法回避的趋势 1 社会信息化进程 的继续深入 2 数据对企业业务 决策日渐增加的 影响 3 移动及互联网业务 的高速发展 DTCC2012DTCC2012 大数据时代--企业面临新的课题 数据的存储 系统的性能 系统的扩展 数据的冗余 海量数据 数据的分析 DTCC2012DTCC2012 内容大纲 分布式数据库的架构设计 2 分布式数据库的优化思路 3 3 大数据时代的到来 3 1 其他替代产品和技术展望 3 4 DTCC2012DTCC2012 我的案例 海量的数据-300T 2 3 OLAP系统 1 3 多层的分布式数据库 3 4 关系型数据库-Oracle 5 Linux操作系统 5 DTCC2012DTCC2012 分布式数据库架构设计。 分布式数据库架构 分布式数据库 中间件 DTCC2012DTCC2012 分布式数据库架构--优势 D-DB I/O通道的扩展 数据的并行计算和访问 主机资源的整合 对应用透明 灵活的扩展性 数据的冗余 DTCC2012DTCC2012 分布式数据库架构设计 3 6 D-DB 主机数量 数据冗余 系统监控 水平扩展 备份及恢复 容灾 DTCC2012DTCC2012 分布式数据库架构设计 --影响分布数据库数量的因素 系统容量 加载性能 查询性能 恢复时间 DTCC2012DTCC2012 分布式数据库架构设计-监控 • Oracle OEM grid control DTCC2012DTCC2012 分布式数据库架构设计-备份与恢复 待加载数据 SQL*Lloader 待加载数据 数据备份 数据恢复 业务数据 数据库 数据库 介质 … … DTCC2012DTCC2012 分布式数据库架构设计-扩展性 容量 当业务的数据接近系统设计 的上限值时 性能 当数据处理的速度无法满足 业务的需求时 突发 事件 为了防止突发的事件使数据 库崩溃 DTCC2012DTCC2012 分布式数据库架构设计-容灾 异地灾备 中心数据库 调度服务 应用 DTCC2012DTCC2012 分布式系统中间件架构设计-优势 统一对外的API 负载均衡 高效的查询 和加载性能 灵活的扩展性 DTCC2012DTCC2012 分布式系统中间件架构设计 服务监控 服务容错和扩展 6 分布式系统中间件架构 统一API 负载均衡 数据查询 数据加载 服务监控 容错和扩展 DTCC2012DTCC2012 分布式系统中间件架构设计--负载均衡 • 图 查询 服务 查询 服务 …… 查询 服务 负 载 均 衡 对象定位器 对象状态 负载分析器 负载获取器 …… 请求 请求 请求 请求 负载获 取 轻载对象 选取 DTCC2012DTCC2012 分布式系统中间件架构设计--数据查询 DB1 DBn 并行查询服务 用户 … 用户 用户 子查询1 子查询n 查询 结果合并 • 分组 • 排序 • 聚集操 作 • … 数据访问引擎 数据访问引擎 DTCC2012DTCC2012 分布式系统中间件架构设计--服务容错和扩展 查询 服务 查询 服务 …… 查询 服务 负 载 均 衡 SQL 请求 请求 服务失效 请求重定位 DTCC2012DTCC2012 分布式系统中间件架构设计--服务容错和扩展 查询 服务 查询 服务 …… 查询 服务 主 负 载 均 衡 注 册 从 负 载 均 衡 请求 请求 DTCC2012DTCC2012 内容大纲 分布式数据库的架构设计 2 分布式数据库的优化思路 3 3 大数据时代的到来 3 1 其他替代产品和技术展望 3 4 DTCC2012DTCC2012 Oracle数据库的设计及优化 分区 索引 只读表空间 数据压缩 dblink 并行 RAC DTCC2012DTCC2012 Oracle数据库的设计及优化--分区 数据管理 1.数据导入/导出 2.备份和恢复 3.数据的加载 1.分区索引 2.数据压缩 3.只读表空间 4.分区交换 性能改善 DTCC2012DTCC2012 Oracle数据库的设计及优化--索引 B树索引 全文索引 位图索引 DTCC2012DTCC2012 Oracle数据库的设计及优化--只读表空间 只读表空间 避免数据块头的更新 减少数据库的启动和关闭时间 有效的减少数据文件的故障 DTCC2012DTCC2012 Oracle数据库的设计及优化--数据压缩 数据压缩 提高数据查询速度 减少数据的I/O次数 提高备份和恢复速度 DTCC2012DTCC2012 Oracle数据库的设计及优化--dblink 数据库n 数据库3 数据库2 数据库1 查询 服务 SQL 汇总数据库 …… dblink dblink dblink dblink SQL SQL SQL DTCC2012DTCC2012 Oracle数据库的设计及优化--dblink 数 据 库 访 问 引 擎 临 时 数 据 库 局部数据库 局部数据库 局部数据库 …… RESULT RESULT RESULT 查询服务 执 行 器 RESULT RESULT RESULT DTCC2012DTCC2012 Oracle数据库的设计及优化--并行 并行 使用并行查询 配置并行在RAC上的分布 不要过度打开并行度 DTCC2012DTCC2012 Oracle数据库的设计及优化--RAC RAC 适当减少RAC的节点 避免cache fusion DTCC2012DTCC2012 内容大纲 分布式数据库的架构设计 2 分布式数据库的优化思路 3 3 大数据时代的到来 3 1 其他替代产品和技术展望 3 4 DTCC2012DTCC2012 其它的选择--列式数据库 索引即数据 更多的索引选择 数据压缩比更高 更快的查询速度 AD HOC 更快的加载速度 列式数据库 DTCC2012DTCC2012 Oracle vs Sybase IQ • 1000万条记录 • 带有三个索引 数据库/时长 数据加载 max/min count group by where sybase iq 937s 0.937s 0.094s 33s 3.4s oracle 1380s 44s 43s 67s 43s 没有采用TPC-H测试方法。 不具有普遍性。 只是从我们自己的业务角度出发,它会提高业务的性能。 目的是让用户多一种选择。 DTCC2012DTCC2012 RDBMS NOSQL 未来数据库展望--RDBMS V.S. NOSQL 不会消失,不再辉煌 OLTP领域无可替代 成熟的产品 完善的技术支持 无需专业的研发团队 2 3 4 5 6 水平扩展受到限制 1 发展迅猛,风生水起 非结构化数据的处理 产品处于发展阶段 没有完善的技术支持 需要专业的研发团队 2 3 4 5 6 极方便的水平扩展 1 DTCC2012DTCC2012 DTCC2012DTCC2012

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享文档获得金币 ] 3 人已下载

下载文档

相关文档