庚子新春，一场突其而来的疫情打乱了中国经济秩序。但经济终要复苏，此时，线上会议服务成为企业远程工作的重要协同工具。

于是，腾讯会议春节期间马上紧急召回技术团队，在现场或在远程，通过各种手段来支撑起会议服务。

团队不仅通宵达旦地对服务的架构、承载能力做了优化，同时腾挪腾讯云全国资源进行多次扩容。日均扩容云主机近1.5万台，8天总共扩容超过10万台云主机，涉及超百万核的计算资源投入。强大的云资源保障下，会议完美的扛住了全国用户的访问请求。在线用户天天攀升，稳健地顶住了多次的流量高峰。

全球云数据中心支持

全球化的云数据中心

短短几天要扩容百万核心，资源供给难度极大。如果按一台物理服务器64核心来计算，需要上架近二万台物理服务器。加上春节和疫情双重叠加，物流困难重重，服务器资源供给的任务根本是不可能完成的。

幸而借助腾讯云数据中心资源弹性和能力，资源规划团队每天都能从各地的云数据中心快速供应带宽、计算和存储资源。短短一周内，云帮助腾讯会议快速调度到支撑海量用户的资源。

腾讯云各区域数据中心网络支持城市和园区颗粒度，能够精细化地分配IP和业务部署。电信、联通、移动和中小运营商的用户都能按IP调度策略分别动态定向到不同的接入点VIP，精细化定向覆盖网络运营，提高了用户按地域、按运营商等维度访问腾讯会议服务的质量，省却了开发团队在架构分布上的规划投入。

腾讯会议在海外还有大量的用户接入，借助腾讯云海外支持能力，运维团队快速在欧美、日韩、东南亚和中东等地部署了接入点和业务逻辑层，通过低延迟全球骨干网络，实现海外用户的会议音视频接入，实现了全球的远程会议功能。

腾讯会议使用了全球应用加速 GAAP，将当地区域用户通过加速节点转发到距离最近的业务接入服务。GAAP通过全球节点之间的高速通道、转发集群及智能路由技术，实现各地用户的就近接入，通过高速通道直达源站区域。

计算资源交付

依赖于腾讯积累的标准化CMDB，底层的数据中心物理机和虚拟机的运维方式采用了标准化的包发布方式。

CMDB将业务所依赖的各种依赖包、配置、文件、权限、日志、流程和测试用例等以配置库的方式存储。包发布系统在应用CMDB的基础上实现一键交付的能力，可以在一小时以内同时交付上万台实体机和虚拟机。

包发布中的每一个软件包是完成特定功能所需文件的集合，包发布系统包括了一键式的部署流程，包括配置下发（统一管理类似 nginx.conf这样的配置文件），服务部署（上传进程包并运行），进程管理（对进程进行跟踪，保证进程意外退出时及时拉起）等功能。

容量压测

春节以来腾讯会议的开发团队每天都要快速迭代几十个大小版本，包括BUG解决、新功能上线、架构优化和性能优化等，为了衡量新版本核心业务链条的健壮性和性能，每天晚上使用高峰过后，测试团队都要在凌晨时间进行大大小小的模块级、系统级和SET级压测，及时发现会议自身和周边服务的短板。

每天压测出来的各种问题，开发团队要在下半夜紧急修复版本，回滚旧版本，或者紧急扩容新功能服务，以保证上午业务高峰期服务的高可用性。

应急预案

团队提前准备了各种应急预案，根据流量、容量水位和质量数据的变化，做出SET调度、服务柔性等分级决策。

应急预案包括了服务容量达到60%，80%，90%等不同水位，在服务级和系统级的策略手段。譬如接入层限频，并发布限流公告；核心模块开启熔断；全国各SET的人工流量调度；视频降码率等。每个策略有主备责任人紧急操作实施。

最终由于容量准备周全，服务健壮性强，众多问题在压测环节得到优化，准备的应急预案都没有实施。

会议高峰值守

每天会议团队的工作日志为，上午7点开始上午高峰值守，11点总结，中午12点到14点问题优化，下午14点到18点进入下午高峰值守，18时当天会议总结，晚上各个模块的版本迭代发布，23时至凌晨2时进入每天例行压测或演习，2时至6时解决压测中出现的问题。

快节奏的工作日志下，团队只能小憩二三个小时，每天周而复始。

由于疫情，开发、运维、测试和周边支持团队分隔在全国各地，这个时候腾讯会议成为各团队之间高效协同的核心武器。

总结

腾讯会议是一款真正基于云原生的SaaS产品，短短一二周内，会议产品凭借强大的云原生架构，从最早的广州云，快速扩容到全国几大区域的SET，以及全球几十个海外节点接入，用户量从春节前的几十万在线增长到数千万在线，日活跃用户上亿。这在传统的数据中心是极难实现的目标。

腾讯会议人数不多的业务运维团队，通过腾讯云后端IaaS、云PaaS运维服务支持，才能够高效的支撑了海量流量的服务保障。

通过业务和系统的可观测性，及时掌握业务和系统瓶颈，快速定位问题，及时优化，保证了业务的高可用性。

腾讯会议的春节云上成长经验，希望给更多的，通过公有云高速成长的业务参考借鉴。