MySQL+SSD Flashcache优化实践

下载需要 15 金币 [ 金币充值 ]

服务器/托管费、人工审核、技术维护等都需要很多费用，请您支持深度开源的发展

下载PPT

PPT 内容

1. MySQL+SSD Flashcache优化实践天羽@
2. Who am I天羽 tianyu@taobao.com @tb天羽 SI Oracle Mysql 16:212
3. 议题方案选型性能调优稳定测试 16:213
4. 方案选型-选型目标数据量 30亿读写压力与分布 TPS 500*16（峰值） QPS 7000*16 （峰值）成本与余量 150亿，5倍压力 tps 2500 qps 35000 16:214
5. 方案选型-选型目标16:215
6. 方案选型-对比测试Mysql tps --supersmack16:216
7. 方案选型-ioDrive VS ssdCPU —> 北桥 —> 南桥 —> SAS/RAID 控制器 —> 背板 —> 磁盘 16:217
8. 方案选型- ioDrive VS ssd16:218
9. Fusion IOioDrive 320G MLC 官方数据 4PB 1W次测试数据逻辑写134G/天，物理写809G/天， (4000*1024/8098)/356=14年 16:219
10. 方案选型- Flashcache介绍16:2110
11. Flashcache介绍元数据开销: 24byte in-memory(300G/4k,1.8G),16 byte on-flash ………1 set = 512 blocks16:2111
12. Flashcache测试业务性能压测风险评估 DB各种异常down机 DDL、数据订正数据库备份等维护操作16:2112
13. 业务压测-DB数据%user 45% %iowait 8.20 BP hit 99.3% flashcache hit 98.2% /proc/flashcache_setutil 79441(2MB)个util99% 16:2113配置cpu 2*4c E5620 Mem 72G BP 56G Disk FIO 320G Data 166G 12 sas 结果压力： QPS 26000 TPS 1630 Sas iops read 120 write 900
14. 业务压测-应用RTRT（1/4的热点数据） = 7ms RT（3/4的非热点数据） = 18ms RT（写Update）=7ms 线上压力4000 qps 1.2ms16:2114
15. 引入cache16:2115
16. 问题预热数据丢失非业务操作干扰Cache效率风险与管理未知?16:2116
17. Troubleshoot预热 cachehit测试,169G用8-13分钟左右，221MB/s 数据丢失验证各种down机后，持续监控cachehit% 备份/copy文件对cahce的影响白名单增加风险点 fio状态、温度、寿命、cachehit监控 16:2117
18. 开机attach时间 Hang DDL hang、Dmsetup hang、copy hang FIX：调整FLASHCACHE_COPY_PAGES and FLASHCACHE_ASYNC_SIZE dosync.fast_remove=0再dmsetup remove会hang FIX：Fast_remove=1，主动刷并限制力度,调整合并后写块上限验证：dmsetup remove ，完全4K往SAS刷，不hang。每秒100M/S，100G需17分钟未知?16:2118
19. DDL测试数据量单表130W 数据量，2GB SAS写入加索引(83MB/S)>其他DML(5MB/S) > 平时2.5MB/S DDL时间扩字段，减字段，重命名，改类型，删字段，1分钟07秒加索引9s,删索引0.08s 第1个操作用5分钟，和很多tps抢锁，表load到内存16:2119
20. 议题方案选型性能调优稳定测试 16:2120
21. Flashcache配置白名单 cache_all=0 LRU reclaim_policy=1 脏刷新率 dirty_thresh_pct=90 快速remove fast_remove = 1 刷出力度 max_clean_ios_set=2 max_clean_ios_total=4 16:2121
22. OS优化内存 numa=off FS mount参数 noatime,nodiratime,barrier=0 IO调度器 scheduler deadline nr_requests 512 增大队列长度 default 128 read_ahead_kb 16 减少预读default 128 16:2122
23. MYSQL优化日志 1、减少切换次数 innodb_log_file_size=1300m innodb_log_files_in_group=3 2、独立硬盘 redo log 240G/天并发线程 innodb_thread_concurrency 16:2123
24. MYSQL优化IO innodb_io_capacity innodb_read_io_threads innodb_write_io_threads 未定 innodb_change_buffering=none adaptive_flushing ssd随机写,不需要顺序化的额外代价 16:2124
25. 里程碑日期操作tpsqps1月12日调整innodb_thread_concurrency=64100%60%1月14日1、使用白名单减少其他干扰100%44%2、将ib_data/ib_logfile/binlog放到fio1月21日将innodb_BP从56G->72G，将binlog放到SAS50%7%16:2125
26. 里程碑16:2126
27. 议题方案选型性能调优稳定测试 16:2127
28. 场景设计Down 硬件故障断网 Hang cpu/mem/io/db threads/日志空间满 Slow 异常sql/DDL/备份/清除binlog / threads running APP/Cache异常16:2128
29. 稳定测试连接数突然上升因为充分预热的原因，请求都在bufferpool，所以撑得住 Threads running Threads running16:2129
30. 监控readhit 读命中 writehit 写命中 dirtywrhit 脏写命中 cache_pct cache数据块占总空间比例 dirty_pct dirty数据块占总空间比例 lg_written 逻辑写 phy_written 物理写 fio_status Healthy(状态标志) reserves 预留空间百分比 10%预警 Internal temperature 温度 16:2130
31. 运维OS crash或重启OS 1、检测fio是否attach，如果attach就flashcache_load 2、准备flashcache参数 3、挂载FS 4、预热（目前没有自动做，默认是关闭的） 5、启动mysqld，并加入flashcache白名单手工运维脚本16:2131
32. Q&A Do what you want,@北京&杭州天羽 tianyu@taobao.com 16:2132THANK YOU

MySQL+SSD Flashcache优化实践

seoul1k

贡献于2011-08-31

MySQL+SSD Flashcache优化实践

PPT 内容

PPT 图集

相关PPT