京东大数据基础架构和实践pdf

844700118

贡献于2016-11-18

字数:3061 关键词: 分布式/云计算/大数据 方案 SQL

京东大数据基础架构和实践 王彦明 京东大数据平台部 http://weibo.com/opendayjd 关于我 王彦明 大数据平台-数据架构部 Mail: 新浪微博: 微信: wangyanming@jd.com @王彦明V wangyanming29 目录  大数据  京东大数据平台  我们技术突破  JDW&Jmart  JDMP数据挖掘平台  展望 大数据 少说些漂亮话,多做些日常平凡的事情 京东大数据平台 我们的技术突破 • 分布式系统技术突破 – 稳定性、性能、HA、故障恢复、多集群、运维和管理 • 多用户共用平台 – 数据安全、隐私保护 • 数据任务运行监控 – 每日数万个数据任务、核心任务及时性 • 挖掘数据价值 – 数据量大、迭代效率 • 数据实时化 – 关系型数据、AD HOC、实时计算 • 离线、实时平台合并 – Hadoop、Spark、Storm JDW发展历程 MS SQL Oracle MySQL Hadoop Spark JDW架构-概述 JDW 调度系统 知识管理 平台 数据集成 开发平台 京东 分析师 统一权限 管理平台 数据质量 监控系统 Jmart JDW EDW的核心数据架构分为四层:缓冲数据层、基础数据层、通用数据层、聚合数据层, 其次是临时层和维度层。其示意图如下: JDW FDM 存储方案优化 在线交易系统、商品中心、用户中心等出于效率的考虑,不会长期保存大量历史数 据,而JDW作为企业数据分析及挖掘的基础设施,天生具有保存历史数据的职责,非但 如此,如何快速、高效的获取历史上任意一天的快照数据也成为设计历史数据存放方式 时的重要考量。通过比较,记录数据的生命周期;能快速还原任意天的历史快照,极大 的节省了存储 key A1 A2 A3 1 A A A 2 B B B 3 C C C key A1 A2 A3 1 A A AA 2 B B B 3 C C C 4 D D D key A1 A2 A3 start_date end_date 1 A A A 2014/1/1 2014/1/2 1 A A AA 2014/1/2 4712/12/31 2 B B B 2014/1/1 4712/12/31 3 C C C 2014/1/1 4712/12/31 4 D D D 2014/1/2 4712/12/31 2014-01-01 2014-01-02  快照的还原 SELECT * FROM t_chain WHERE P_DATE>=start_date AND P_DATE

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享文档获得金币 ] 0 人已下载

下载文档

相关文档