2017 Promo Sum
Friday 容器调度平台
- 容器化发布
- 自动构建
- 日志搜索
- 配置管理
- 压测工具
打造开发闭环，提升效率
打造开发闭环，提升效率
打造开发闭环，提升效率
容器化发布的环境
- ubuntu 12 + docker 1.9
- ubuntu 16 + docker 1.11
- 编排 kubernetes 1.4
架构图
| 核心功能 | Friday | 包系统 |
|---|---|---|
| 打包 | docker image | tar.gz |
| 发布 | 用户指定实例数 | 按IP |
| 部署 | 按IDC | 按IP |
| 自动化 | JSON API |
对比分析
实现调度算法，简化发布
- 记住所有实例已经使用的 cpu, mem
- 找出剩余 cpu, mem 足够的 IP，在这批 IP上发，发的时候均匀铺开，遵循上限
-
采用给 IP 打标签的方式，建立逻辑 IDC
发布系统
- 提供 web 管理端
- 提供 JSON API 接口
成果
- 上线两个月，达到容器化的进程数1000+，主要是C++后台进程
- 物理机120左右，部署机房北上深，主控机房上海无锡
- 接入业务有鲜花服务，工会服务，userlist服务，关注服务，ramcloud服务
构建系统
| Friday | ci.yy.com | |
|---|---|---|
| 单次构建时间 | 1-3分钟 | 10-30分钟 |
| 构建场景 | gcc, go, java, blade, cmake, qmake | gcc |
| 产出 | exe, docker image | exe |
| 系统成本 | 两台C2型 | 一台C2型 |
| 系统容量 | 允许并行构建任务4个，make -j 12 | 串行构建，make -j 1 |
对比分析
C2型：24核16G
用户界面
成果
- 接入业务：娱乐后台c++, service后台c++, yy audiomixer for server(Qt)
- 上线五个月，构建次数1300+，日均构建数30+
日志搜索
需求场景
- 线上问题诊断，需要查看日志。但实例数太多……
- 无需登录服务器，就能查看日志
- 搭建 ELK 成本较高
| Friday | ELK | |
|---|---|---|
| 按关键字搜索 | 并行find+grep | 建了索引 |
| 数据分析 | 不需要 | 很专业 |
| 接入成本 | 无 | 各种配置 |
| 搭建成本 | 无 | 按日志量 |
| 运维成本 | 无 | 专人运维 |
对比分析
用户界面
架构图
成果
- 上线两个月，装机量800台服务器
- 接入业务：营收，service，频道，公共组件，BS2等