揭秘百度应用开发引擎

cameron6

贡献于2011-08-15

字数:2329 关键词: PHP

百度应用开发引擎 肖伟(xiaowei@baidu.com) • 超牛服务器,最好有1万个 cpu! • 刚开始不需要那么多,支持 热插拔,后续添加 • 性能不够的时候插一个核进 去 • cpu热插拔?内存、硬盘也要。 另外内存至少得1000G,硬盘 至少得1P • 硬盘永远不会坏! • 价格要便宜! • 虽然我申请了1万个核,1万G, 1万P,但是实际只用了1个核, 100M内存,1K数据。 • 你得按 用多少 收费! • 机器牛有P用! • 机器被砸了能恢复不? • 停电了,能恢复不? • 必须能不间断提供服务才行! • 上面的需求我们都能满足 都满足了,那我干嘛? • 作为BAE的用户,写最关键的 业务逻辑代码就可以了 • 将物理机器统一成一个大的资源池 • 通过软件手段分配虚拟资源给服务 包括为一个服务分配 – 100核的2.4G CPU – 1000G的内存 – 10000T磁盘 • 通过分布式调度,完成永不停机的保证 统一前端接入(软7层) 资源定 位服务 分布式虚拟化系统 (支持多任务多用户) 进程调 度器 分布式存储系统 统一前端接入(软7层) 资源定 位服务 分布式虚拟化系统 (支持多任务多用户) 进程调 度器 分布式存储系统 • 维护主键到进程列表的映射 • 进程迁移,通知客户端,服 务列表变化 • 提供分布式粗粒度锁服务 统一前端接入(软7层) 资源定 位服务 分布式虚拟化系统 (支持多任务多用户) 进程调 度器 分布式存储系统 • 寻找空闲的机器资源运行用户程 序 • 故障发生、扩容引发的自动部署 • 通过调度算法一定程度上提高机 器利用率 – 众多小服务调度到一台机器上,而不 是单独使用机器 – IO密集型和大内存服务调度到一台机 器上,提高机器利用率 进程 进程 进程 进程 进程 进程 资源定位(管理服务进程) 进程通讯 统一通讯方式 分布式存储 进程通讯 虚拟结点(1) 虚拟结点(2) 虚拟结点(3) PHP特化 本地缓存 本地缓存 本地缓存 分布式文件系统 资源 定位 fastcgi fastcgi fastcgi 代码发布 通知定位服务器 统一前端接入(软7层) 资源定 位服务 分布式虚拟化系统 (支持多任务多用户) 进程调 度器 分布式存储系统 – 不同用户的进程可以部署到一 台机器上,提高机器利用率 – 同台机器不同账户的进程完成 资源隔离 • 给力!BAE就是一台给力的 机器 • 但是,我有时候裸用API写程 序也挺烦人的 • 我们还有开发环境,包括丰 富的SDK和调试工具 编程 框架 国 际 化 支 持 业 务 流 程 支 持 统 一 通 讯 机 制 分布式服务 云 存 储 分 布 式 关 系 存 储 消 息 队 列 分 布 式 缓 存 定 时 服 务 … … Open API 百 度 账 号 支 持 空 间 用 户 数 据 知 道 用 户 数 据 … … 本地 调试 环 境 模 拟 API 模 拟 调 试 器 • 满足图片、视频、文档等数据的存储需求 • 提供高并发对外访问(慢连接优化) • http/https接口,支持p2p下载等功能 • 支持0到无限大的文件断点上传、下载 • 提供大文件瞬间上传功能(如果云中存在) • 提供文件的访问权限管理、目录管理和分 享 自定义异步WebServer集群 ACL认证 文件目录服务 数据异步抓取 系统 数据提交 逻辑处理 分布式块存储(sata) 分布式块存储(ssd) 浏 览 请 求 • 其它不一一展开 • BAE难学吗? • 代码打包上传到平台就能运 行 – 对于Lamp架构来说,老代码无 需修改 – 对于普通进程来说,必须使用 BAE的API开发 BAE全貌 分布式Runtime 消息队列 云存储 定时服务 缓存服务 分布式关系 存储服务 多语言编程框架(用户接口) 完成代码后自动部署到 Runtime上 RPC调用 • 可使用海量cpu – 较常规cpu没有性能损耗 • 可使用海量内存 – 较常规内存没有性能损耗 • 可使用海量存储 – IOPS: 单盘(sata,无cache)200/s – 吞吐:IOPS不是瓶颈,会跑满网卡 • 迁移大量百度服务,每天http请求数超过50 亿 • 逐步统一百度用户数据存储,包括文档、 mp3、视频…  百度基础架构部(inf) – 在线服务统一架构组(IIS) – 邮件: iis@baidu.com 杭州站 · 2011年10月20日~22日 www.qconhangzhou.com(6月启动) QCon北京站官方网站和资料下载 www.qconbeijing.com

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享文档获得金币 ] 1 人已下载

下载文档

相关文档