腾讯云实践之路

gb464

贡献于2014-06-02

字数:0 关键词: 分布式/云计算/大数据

@InfoQ infoqchina 腾讯云实践之路 刘颖 微信:waitquiet 腾讯云架构 • 腾讯云总体架构介绍 • 网络架构演进 • 虚拟化架构演进 • 存储架构演进 • 安全架构简介 腾讯云总体架构 CEE CMEM CBS 外网访问接入 云接入平台 Storage&Big data--PAAS COS 腾讯云分 析 微云 CVM 云门户平台(开发者) PAAS IAAS Computing CDB Storage--IAAS 云门户 控制台 云管理API Data 腾讯云服务整体解决方案 快速云通道 Bgp网络 高性能,高稳定性云虚拟机 CVM 可靠弹性块存储,多种硬盘选型,丰富IO 策略 CBS 泛网络,restful接口,对象存储服务 COS 一体化web应用运行环境,弹性伸缩,中小开发者的利器 CEE 兼容memcache协议,超高性价比分布式key-value缓存 CMEM 海量分布式数据处理平台和数据市场 社交个人存储,支持妙传,疾速访问,短连接分享 腾讯云分析 微云 腾讯云网络架构 App1 VM1 Netagent 安全 负载均衡 健康检查 App2 VM2 VM3 Virtual switch 隧道管理 状态管理 路由管理 流控 物理网卡1 物理网卡2 DDos http解析 业务网络 存储网络 静态加速 劢态加速 健康检查 隧道管理 状态管理 路由管理 外网统一接入TGW 宿主机 内网负载均衡,访问后端存储服务和自己搭建的 服务 静态加速用图片等内容,动态加速智能选路,优 化传输路径 TGW外网统一接入集群,外网IP和虚拟机解耦, 四七层负载均衡,防御各种DDOS攻击 租户之间网络隔离,双向流量限制 VM之间带宽基于HTB的QoS控制 存储网络和业务网络分离,互为备份 TGW A 母机(SG) B C SDN GW(networkACL) Virtual Private Gateway A 母机(SG) B C 用户B 用户C Internet 专线 VPN ECN QCloud Virtual Network Overlay 腾讯云SDN网络架构 • OC点就近接入,超过300 个接入点,网络带宽30T, 超过国内领先的CDN厂 商 • 寻找最佳路由,按照质 量选择路由,而不是最 短路径选择路由 • 允许多连接并发 • 通过冗余数据的传输, 部分丢包不需要重传 • 优化TCP协议,减少超时 重传的发生,尽量快速 重传,避免窗口减少造 成发送速度下降 • 对外隐藏server端的IP, 分布式防御DDoS的 移动加速 信鸽(XG Push)是专业的移劢 APP推送平台,支持百亿级的通知/消息秒级触达移劢用户。开发者可以方便 地嵌入SDK,通过API调用可或视化操作界面,实现对特定用户发送通知/消息,提升用户活跃度,激活沉睡用 户,并实时查看推送效果。 业内最海 量高并发 的推送能 力 实时监控 推送效果 捕捉瞬间 丰富标 签 十亿并发 定制单通道 省电 优化心跳包 省流量 秒级触 达 省电省 流量 实时效 果 7亿QQ用户 百万级标签数据 灵活定向推 送 精准触达目 标人群 精准 定向 海量信息 第一时间 触达用户 虚拟化平台 • 各组件通信协议统一,Http + Jason,异步通信提高效率 • 服务统一注册管理,消息队 列解耦 • 尽量保证数据的一致性,任 务可重入,冗余数据异步清 理 • 不断迭代优化的装箱算法, 提高资源利用率 • 故障快速发现 CEE(Cloud Elastic Engine) 云服务 账号 SVN服务 虚拟终端 路由配置 页面配置 更多… 外网负载均衡服务 Web服务 Web服务容器 (PHP/JAVA/Python…) Web服务 Web服务容器 (PHP/JAVA/Python…) 7层负载均衡 CPU Network I/O Memory 内网负载均衡服务 监控告警 动态调度 安全审计 CMEM CDB CMQ … 应用自己搭建在CVM上的内网服务 通过域名提供外网服务,响 应来自用户的请求 CEE通过域名方式对外提供服务,通过域名代理层响应用 户的HTTP请求,分析HTTP请求,并转发到后端的Web服务 上; Case 1 CEE提供基础架构以及支持多种语言环境的Web服务容器, 应用部署并运行在CEE的Web服务容器里,不同Web服务之 间是隔离的。1个Web服务对应1至多个Web服务器实例。 Case 2 通过CEE内部的7层负载均衡服务,将HTTP请求路由到对应 的Web服务,并映射到相应的Web服务器实例上。 Case 3 CEE通过内网负载均衡服务,使用虚拟IP/Port来访问内网 的用户数据,存储系统及其它服务。 Case 4 CEE通过云服务帐号进行统一管理,开发者通过云服务帐 号访问SVN库并上传代码,使用页面配置功能进行部署在 CEE上的应用的页面配置,使用虚拟终端在Web服务器实 例上进行日志查看,使用路由配置功能获得CEE以外的其 它内网服务的虚拟IP/Port,使用Session服务实现分布 式session功能,使用FetchUrl访问外网服务 Case 5 CEE通过自身的监控和日志上报系统自动上报和汇总日志 信息,反馈请求访问质量,为开发者提供指引性数据和视 图,并对部分需要开发者参与的故障或异常进行告警,以 便开发者及时解决问题。 Case 6 IW AS 告警策 略 Container CVM 监控 数据 Trigger 5 seconds 数据采集 获取告警策略 产生资源告警 动作 策略 获取动作策略 DES CME M/CD B Matrix Container 产生扩缩容动作 执行扩缩容 Variance Analysis Billing Front End … … 分析资源使用 是否达到临界 值 分析告警应 该采取什么 动作 SVN 拉取代码 CVM 镜像扩容 更新 实际资源使用率动态调度,提高单机的资源使用率 差异化镜像存储和P2P镜像传输,快速扩容 精度达5秒的细粒度监控,故障自动恢复 负载 均衡 CEE资源自动调度 CBS云盘 块设备LBA SSD集群系统 调度系统 LRU系统 全局锁 拥有SSD的性能,SATA的成本 冷热分介质是降低成本很重要的手段 SATA集群系统 预读提升顺序读的能力 合适的合并写提升集群的写吞吐量 降低虚拟化带来的损耗,提升并发度 业务和存储双平面,减小拥塞,提升 可用性 - Cloud Database提供便捷、易用、安全和省心的关系数据库服务 - 提供单机、主从和一主多从多种冗余架构 - 运营数据:超过500T的容量,全天访问量接近1000亿 CDB 存储优化 CDB高性能版 MySQL内核优化 介质优化,云化存储,提高性价 比 InnoDB page大小修改为4KB,减 少double write 拒绝没有where的drop的delete 语句 让InnoDB直接对接后端存储, 减少I/O路径 高性能CDB 压缩降低空间 COS 腾讯 COS 文件云存储 数据云 处理 管理 强大  弹性无限空间  大文件存储  分布式存储  全网CDN节点加速  结构化存储  防盗链能力  多语言开发包  多样同步工具  强大API支持  权限分离  图片无损压缩  图片裁剪  图片水印  图片格式转换  200P的存储容量  每日新增数据超过30T  流量超过300Gb/s 事 务 处 理 统一调用接口 分配管理 目录管理 访问管理 存储管理 User Index 管理by用户 目录树结构 file Index 管理逻辑文件名称 IDX-Proxy 全局IDX的 访问控制点 CHX-Proxy 全局CHX的 访问控制点 资源 管理 系统 监控 备份 恢复 Security 安全控制 MD5Check 文件排重 Upload 上传文件 download 下载文件 CHX 实际存储单元 CHX 实际存储单元 CHX 实际存储单元 Trans-Proxy 全局Transaction 访问控制点 COS CMEM 前置层 MEM集群 SSD集群 冷数据下沉,热数据激活 7天内有访问的数据算热数据 CMEM 内核态接入,减少系统数据包拷贝,减少用户态和内核态的切换 ASN.1 -> ASN 2.0 自研极度简化的编码格式,空间换时间,只解码指针位置 内存块固定大小,快速分配回收,变长数据的长度预测读取。 20 网络防护 第三方 DB 外网安 全检测 第三方服务器 公网 漏洞扫描 内容检测 DNS检测 内部安 全检测 基线检测 入侵检测 挂马检测 安全 审计 Log分析 Shell审计 DB审计 外访检测 安全API DDoS防护 云waf 网络阻断 网络防护 业务流量 Oauth 漏洞API 验证码 软token 网络防护 主劢外访 主劢外访 云安全整体框架 21 云安全产品简介 主要安全问题防护情况说明 • 具备百G级DDoS防护能力,每月防护数百次攻击,实现秒级实时防护,保 证客户业务不受影响 DDoS防护 • 对使用了云安全漏洞扫描的业务,进行按日扫描,日均发现漏洞上千个 • 提供云waf功能,对恶意攻击进行透明过滤,时延毫秒级 漏洞防护 •多渠道及时发现客户云服务器被入侵情况,日均发现近十个入侵事件 •提供弱密码检测工具、证书登录等方式,帮助客户进行预防 入侵检测 Thank You 特别感谢合作伙伴 特别感谢媒体伙伴(部分)

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 3 金币 [ 分享文档获得金币 ] 2 人已下载

下载文档

相关文档