腾讯游戏的Docker实践

pm6n

贡献于2015-09-20

字数:0 关键词: 分布式/云计算/大数据

腾讯游戏的Docker实践 —现状、经验及展望 尹烨 @Tencent 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 从游戏业务说起 • 业务周期 • 种类 – 端游、手游、页游 – 自研、代理 – 分区分服、全区全服 Why docker? • Like VM • Not only just like VM Docker vs VM • 优势 – 轻量、Image、APP centric、在线调整资源配额 • 劣势 – 安全、隔离性 现状 • 2014.6 ~ Now • 业务接入 – 1000+物理机、~4000个Container – 数十个端游、手游、页游 •《我叫MT2》、《QQ宠物企鹅》… 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 问题1—容器集群调度(1) • Fig?Shipyard?… • Kubenetes – CPU core、 机器类型、内存、磁盘、网络… – Black list/White list – Specific host – Affinity/No Affinity 问题1—容器集群调度(2) 问题2—Network(1) • NAT? – Performance poor、IP hidden • Host? – No network isolation • Overlay network? – Complex、performance – Communicate with physical/virtual machine? 问题2—Network(2) • Bridge+VLAN – Performance loss – CPU consumed • Optimization – Set veth txqlen to 0 问题2—Network(3) • NAT vs Bridge 问题2—Network(4) • SR-IOV – Good performance – Limited by VF numbers • Optimization – Bind VF interrupt to CPU – Enable RPS 问题2—Network(5) • Native vs Bridge vs SR-IOV 问题2—Network(6) • Mix bridge with SR-IOV? 问题3—镜像存储及传输(1) 问题3—镜像存储及传输(2) 问题4—容器监控 • cAdvisor? • lxcfs+agent 问题5—容器故障迁移 • Image+IP漂移 • 网络存储(Ceph) – Data volume – RBD graph storage driver 问题6—资源配额(1) • cpuset.cpus • memory.limit_in_bytes • IO throttle – Buffer io throttle? • volume quota – XFS project quota • change quota online – docker cgroup cpuset.cpus=‘0-11’ 问题6—资源配额(2) • What’s meaning of change quota online? 问题7—Kernel • CentOS6.5? – cgroup spin lock – VLAN device lock less – Kernel variable • Device Mapper 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 Summary • 弹性的资源交付 • 统一的部署方式 – 资源交付即部署 • 简单、易用 – 技术门槛低、社区活跃、庞大的生态圈 Future • Problems – Buffer IO throttle problem – Docker daemon hot upgrade • Docker – Network plugin(overlay network) – Graph/Volume plugin(ceph) • K8S – Make writing BigTable a CS 101 Exercise - Brendan Burns

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享文档获得金币 ] 0 人已下载

下载文档

相关文档