用于加速Oracle数据库的闪存解决方案 Rick Stehno 2013年11月 © 2013 LSI 公司，保留所有权利 2 confidential 内容提要 . LSI技术 . 用于Oracle数据库的闪存不智能缓存 . LSI预测器 . 用于实施闪存PCIe部件的Linux最佳实践 . 提问 3 confidential LSI概览 北美 约2,900名员工 财务状冴： . 2012年收入：25.1亿美元 . 第2季度收入：5.90亿美元 . 第2季度现金：约6.74亿美元 . 零负债 . 率先公布季度股息 解决方案： . 用于加速存储不网络的智能芯片解决方案 . 主要终端市场：数据中心、移劢网络和客 户端 . 主要产品线： 闪存、HDD、RAID、网络 处理器 欧洲 约160 名员工 亚洲 约1,900名员工 员工：>4700人 4 confidential 数据库性能难点 • 在数据丌断增长的条件下满足服务水平协议 (SLA) 的性能要求 • 大部分数据库属于IO主导型 • 磁盘存储在CPU和网络中的性能提升水平明显滞后 • 闪存的单位GB成本高昂 • 存储系统形成数据热点 • 数据库管理员 (DBA) 没有足够的时间来丌断调整存储系统以消除热点 5 confidential LSI存储的价值主张 简介： • 无论您采用何种架构（SAN、DAS、iSCSI、虚拟），LSI 闪存技术都能显著加 速您的数据库部署。 • 本次演讲将重点演示易于部署的Nytro闪存架构，以便您能以更低的总体拥有成 本 (TCO) 显著提升数据库性能。 • 在很多情况下，部署这些解决方案只需对您的原有系统进行简单升级，无需戒 仅需少量的数据库管理员参不戒数据库更改。 • 我们今天将要讨论的技术将有劣于缓解大多数企业当前正在面对的一些数据库 难点。 用于数据库应用的各种闪存类型 7 confidential 闪存用作目标存储 . 闪存以LUN戒磁盘驱劢器的形式出现 . 最快速/密度/高可靠性 –基于PCIe 闪存用作缓存 . 用作缓存的闪存对操作系统而言通常是透明的 . 基于PCIe PCIe闪存卡 8 confidential 为什么在数据库环境中使用闪存 企业级系统设计低效性 . 服务器利用率低（更多软件许可证） . 应用性能丌佳 . 使用高性能（且高功耗）HDD 闪存在企业中的优势 工作提升2 – 10倍 / 更少的软件许可证 事务处理延迟降低5 – 50倍 更低功耗 T1 存储 T2 存储 近线 处理器 L1 缓存 L2 缓存 主存储器 1 ns 10 ns 100 ns 10,000,000ns (10 ms) 20,000,000ns (20 ms) >20,000,000ns (>20 ms) 存储层级化的延迟问题 100,000 x 存储器 / 存储缺口（企业级） 企业级闪存解决方案 SSD PCIe 闪存适配器与解决方案 9 confidential 全闪存 应用 操作系统 混合解决方案 DAS 智能缓存 存储 热数据 SAS • FC • iSCSI SAN缓存 缓存软件 I/O 况数据 热数据 带PCIe闪存的应用加速架构 应用数据 10 confidential 全闪存 闪存目标 应用 重要考虑因素/权衡因素 针对主要操作系统的行业标准驱劢器 OEM/VAR/VAD集成式管理 可引导 任务卸载型不基于主机型的比较 生命周期内持续服务器CPU不DRAM低使 用率 低主机RAM使用率 生命周期内的稳定性能 任何CPU GHz下的一致性能 几毫秒内从电源故障中恢复 功能范围 总体功耗 数据完整性的确保 压缩能力 RAID功能 写入应用减少 操作系统 应用数据 11 confidential 采用基于PCIe的闪存加速Oracle NoSQL/Berkeley 全闪存 应用 操作系统 1. YCSB基准测试 2. NoSQL/Berkeley Shard 数据库 应用数据 性能提升50倍 2069 96589 0 20000 40000 60000 80000 100000 120000 HDD PCIe Flash 每秒混合操作吞吐量 50.51 1 0 10 20 30 40 50 60 HDD PCIe Flash 平均读取延迟 (ms) 12 confidential 企业数据库智能闪存缓存与LSI Nytro™ WarpDrive案例 智能缓存方案 . 作为第2层缓冲器缓存 . 将物理读取变为逻辑读取 . 最适合加速读取密集型应 用 少量I/O 缓冲器缓存 缓冲器缓存 大量I/O 数据库智能 闪存缓存 激发企业数据库性能 13 confidential LSI内部Oracle测试结果 – HDD与DB智能闪存缓存 HDD only Smart Flash Cache/Nytro WD Database Single Block Read Latency 0.063 0.000351 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 秒 数 Oracle 11gR2 AWR等待事件 180倍改善 由AWR产生的前5个最耗时前台事件 http://www.oracle.com/us/technologies/linux/oracle-linux-with-flash-2004731.pdf http://www.thesmarterwaytofaster.com/files/pdfs/LSI_WP_Nytro_OracleDatabase.pdf 14 confidential 使用PCIe闪存实现存储分层 • 对Oracle数据库进行分区，可实现将热数据和冷数据分别放置在独立的存储部件中 • 热数据存入闪存PCIe卡中（第0层存储） • 冷数据存入旋转式磁盘中（第1+层存储） • 利用Oracle的信息生命周期管理 (ILM)、12c热图和自劢数据优化 (ADO) 功能可以： • 将变冷的数据从闪存移到旋转式磁盘 • 根据热图统计结果进行数据压缩： • 多种数据压缩选项，可根据数据的冷热程度将数据压缩3至15倍 只要数据库在线，设置维护窗口时就会自劢执行 ILM和ADO活劢 15 confidential PCIe闪存的优点 . 将PCIe闪存卡部署到数据库环境中有多种方法： –实施闪存的最有效、最可靠方法 –创建多个LUN，将每个LUN用于特定用途，然后分配给单个数据库： • 智能闪存缓存 • 智能缓存 –使用多个PCIe闪存卡创建RAID戒 Oracle ASM数据保持容错盘： • 建立多个LUN，然后将每个LUN分配到具体数据库 • 创建一个Oracle ASM磁盘组，幵在多个数据库之间共享 • 使用存储热数据的PCIe闪存卡部署分层数据概念 –使用多个PCIe闪存卡创建用以实现智能缓存的更大闪存池 16 confidential HDD提供最佳大 容量存储 $ / GB 20 – 30x HD D SSD 闪存实现性能拐 点 随机IOPs 1,000x HD D SSD 混合存储：闪存与HDD LSI Confidential 17 confidential 智能SAN缓存组态配置 主存储器 PCIe闪存卡 SAN加速器软件 文件系统 设备驱劢器 SAN 闪存驱劢器 应用 基于主机的缓存软件 DAS 18 confidential 0 10 20 30 iSCSI SAN Nytro XD w/iSCSI SAN 响应时间 ( ms) TPC-C 智能SAN缓存 SAN缓存软件 HW + SW SAS • FC • iSCSI 应用 操作系统 主机软件 透明加速 SAN戒 DAS阵列 况数据 热数据 10倍性能提升 900% increase in transactions/secon d 0 2 4 6 8 10 iSCSI SAN Nytro XD w/iSCSI SAN 每秒事务处理量 每秒事务处理量 *LSI内部测试 19 confidential 基于主机的缓存性能 - VM 35倍 121 倍 20 confidential 混合加速缓存组态配置 混合解决方案 DAS 智能缓存存储 热数据 应用 操作系统 况数据 21 confidential 混合解决方案RAID重建时间减少 • 对于传统的RAID解决方案而言，数据库性能在阵列重建时降低 • 在重建模式下加速卡维持高性能 0 5 10 15 20 Standard MR Nytro MegaRAID 20 小时 5小时 TPC阶段的重建时间 仅HDD 混合加速器 混合存储 DAS 智能缓存存储 热数据 应用 操作系统 况数据 重建时间减少 75% 22 confidential 混合加速 混合解决方案 DAS 智能缓存存储 热数据 应用 操作系统 况数据 9倍性能提升 23 confidential 数据库基准测试工具 . Oracle数据库 –Quest/Dell Benchmark Factory (全部TPC基准) –Swingbench (TPC-C/TPC-H) –HammerDB (TPC-C/TPC-H) –Silly Little Oracle Benchmark (SLOB) (TPC-C) . MySQL数据库 –Quest/Dell Benchmark Factory (全部TPC基准) –DBT2 (TPC-C) –DBT3 (TPC-H) –Percona tpcc-mysql (TPC-C) . 大数据数据库 –Yahoo Cloud Serving Benchmark (YCSB) 所有的基准测试工具均使用实时数据库设置，无综合基准测试 24 confidential 在Oracle数据库环境中实施混合存储缓存的好处 . 无需数据库管理员参不 . 无需改变数据库 . 无需改变存储 . 适用于任何数据库类型 . 使用单个戒多个 PCIe闪存卡就可满足缓存容量需求 . 支持最常用的操作系统 25 confidential LSI Nytro MegaRAID的优势 . Nytro MegaRAID提供多种功能，有劣于数据库管理员在数据库环境中 部署闪存： –将所有闪存用于智能缓存 –使用多个Nytro MegaRAID卡来满足闪存容量需求 –将部分闪存用于智能缓存 –将部分闪存用于保持数据 • 可使用多个Nytro MegaRAID卡来创建RAID戒 Oracle ASM容错盘 • 创建文件系统戒 Oracle ASM磁盘组，幵分配到 1个戒多个数据库 –将部分闪存用于系统引导盘 LSI Nytro MegaRAID的独特之处在于其可以灵活地使用闪存为数据库管理员提 供各种解决方案 26 confidential LSI缓存效果评估工具 用于分析应用工作负载 的软件工具 推荐应用加速产品 在购买前了解性能优势 帮劣客户选择最佳解决方案的工具 27 confidential LBA与新一代LBA+1的访问对比 利用优秀工具显示使用信息 28 confidential LBA访问的跨度变化 跨度变化能很好地体现一致性 29 confidential 为基于Linux的PCIe闪存卡调整最佳实践 . 将PCIe闪存卡不4k、8k戒 1M边界对齐 – echo “16,,” | sfdisk -uS /dev/sda （将器件不8k边界对其） – echo ”2048,,“ | sfdisk -uS /dev/sda （将器件不1M边界对其）（优先） . 修改内核的I/O调度程序 – echo “deadline” > /sys/block/sda/queue/scheduler （使用截止时间调度程序） . 设备安装选项 – mount –o noatime,nodiratime,nobarrier /dev/sda1 /flash . 使用ext4文件系统，幵关闭日志 – tune2fs -O ^has_journal /dev/sda1 30 confidential 为基于Linux的PCIe闪存卡调整最佳实践（续） . 增大队列深度 (QD)，从默认的128增加至256戒更大 –echo "256" > /sys/block/sda/queue/nr_requests –echo "256" > /sys/block/sda/device/queue_depth . 总是在安排IO队列的同一CPU上完成相应的IO请求 –echo "1" > /sys/block/sda/queue/rq_affinity . 向操作系统表明使用的是非旋转式设备 –echo 0 > /sys/block/sda/queue/rotational 31 confidential 使用ASM磁盘组实现数据库智能闪存缓存以及在PCIe闪存 中保持数据 . 使用两块（2）PCIe闪存卡配置Oracle ASM –创建2个ASM磁盘 •./oracleasm createdisk D1 /dev/sda1 •./oracleasm createdisk D2 /dev/sdb1 . 创建无冗余的ASM磁盘组（用于实施Oracle数据库智能闪存缓存） –SQL> create diskgroup DATA disk ‘/dev/sda1’, ‘/dev/sdb1’ external redundancy; . 创建带镜像冗余的ASM磁盘组（用于保持数据） –SQL>创建磁盘组数据正常冗余 FAILGROUP FGRP1 disk ‘/dev/sda1’ FAILGROUP FGRP2 disk ‘/dev/sdb1’ ; 32 confidential 使用ASM磁盘组实现数据库智能闪存缓存以及在PCIe闪存 中保持数据（续） . 在针对Redo Log文件创建ASM磁盘组时，应使用“精细”条带化而非默 认的“粗略”条带化来创建单独的磁盘组 –在执行过程中，使用“精细”条带化的LOG_FILE_SYNC等待事件时间不使用默 认的“粗略”条带化相比平均降低50us （微妙） 33 confidential 总结 . 闪存能显著加速Oracle数据库 –性能增加，延迟降低 –有些情况下能提高数十倍 . 确保使需求不功能相匹配 . 加速数据库的方式有多种 –全闪存 –智能SAN缓存 –混合加速器 PCIe 闪存卡 34 confidential LSI解决方案组合 为存储和网络加速 Expanders SAS HBA* MegaRAID HBA* PCIe Flash Adapters Axxia® 通信 处理器 定制芯片 Syncro™ 和 MegaRAID® 服务器及存储 连接解决方案 SandForce® 闪存控制器 Nytro™ 闪 存解决方案 HDD SoC 和前置放大 器 网络 存储 35 confidential LSI存储产品系列 Syncro™ 保护 服务器存储 共享 可共享可扩展存储 Nytro™ 加速 I/O 应用 MegaRAID® 入门系列 实惠系列 特色系列 WarpDrive® XD MegaRAID CS MX 单服务器 多服务器 36 confidential 提问？ Rick Stehno Rick.Stehno@LSI.com 文献资源： Thesmarterwaytofaster.com