赛事相关 | 揭秘 TI-ONE 大型赛事支撑能力是如何练就的

2021腾讯广告算法大赛初赛阶段已经结束，大赛共收到来自国内外上千家高校和企事业单位的 4,335人 报名参赛。作为大赛官方指定赛期唯一专用机器学习平台，腾讯云TI平台中的机器学习平台 TI-ONE（以下简称 TI-ONE）不仅为所有参赛选手提供从数据预处理、模型构建、模型训练、模型评估的全流程训练能力，而且提供了多达 1000张 的GPU卡和 500T 的高性能存储，支持 1500+ 选手顺利完成比赛。

那么，连续四届作为腾讯广告算法大赛的支持平台，TI-ONE 究竟具备怎样的优势？基于此，小编邀请到了参与整个赛事流程的TI-ONE技术方面的专家，腾讯云高级工程师谢博文，他将从技术的角度为大家揭秘 TI-ONE 是如何一步步练就大型赛事支撑能力的。

 Q1：今年赛事和去年赛事相比有什么不同？挑战性在哪？

今年赛题以视频广告为主题，所使用的数据集为敏感的视频数据，这对 TI-ONE 提出了不少挑战。

一方面视频数据的读取与训练对平台的算力、数据读写性能提出了很大的挑战，需要我们从比赛初期就要准备充足稳定的 GPU 算力，以及高吞吐量的数据存储服务。

另一方面赛事主办方对数据的安全性有严格的要求，需要 TI-ONE 保证数据不会被轻易泄漏到互联网环境。

另外，由于视频类训练任务对参赛选手的工程、研究、算法开发能力均提出了更高的要求，参赛选手要在初赛期间完成数据处理、算法实现、模型调优、结果测试等步骤，需要完善、稳定的深度学习训练环境。

 Q2：为支持今年赛事，TI-ONE在哪些方面做了怎样的准备和提升？

首先，我们筹备了大量 GPU 资源，并通过合理规划代金券发放方式优化选手使用算力的时间分布，保证了选手在需要时都能顺利申请到计算资源。

其次，我们在赛前做了充足的测算和演练，评估出比赛所需的典型算力和显存开销，并基于此在选手创建算力资源时为其推荐默认的最佳配置，这样既为选手节约了代金券开销，也有效地提高了全平台的 GPU 利用率。

再次，为了保障数据的安全性和读写性能，我们引入了高性能版CFS 存储服务，此方案限定了选手只能在内网环境下访问数据，且能提供总计高达 10GB/s 的读写吞吐量。开赛初期，大量选手在内网并发访问多达50GB的视频数据时，每个选手也都能达到 100MB/s 的读取速度。

最后，我们提供了开箱即用的 Jupyter Notebook 版本的Baseline，且提供了可以直接执行 Baseline 程序的完整的conda 环境初始化脚本，选手在此 Notebook 的引导下，可以高效的完成算法开发环境的搭建，并轻松的实现模型训练、结果测试等任务。

 Q3：TI-ONE作为专业的赛事平台，有哪些优势呢？

首先，TI-ONE作为算法大赛的唯一官方指定平台，可以提供丰富的算力资源支持上千人同时进行比赛，为选手提供卓越的赛事体验，同时兼容 TensorFlow、Pytorch、Pycaffe 等主流开源机器学习框架，选手可在平台上灵活地定义算法模块。

其次，TI-ONE支持多种结构化/非结构化数据源及数据存储的适配作为平台存储，同时支持对接多种外部数据源获取训练样本及业务生产数据，除了大赛使用的腾讯云COS存储，还包括数据库存储、Ceph存储等，为选手消除后顾之忧。

再次，TI-ONE内置超过150种算法算子，涵盖数据接入，数据处理，特征工程，机器学习框架/算法，深度学习框架/算法，可视化评估等多种模型构建环节，可以全方位满足参赛选手的要求。

最后，使用TI-ONE进行比赛，选手可以节省搭建机器学习平台和管理物理资源的时间，把精力聚焦在更有价值的建模工作上，提升效率。

看完博文的精彩分享，大家是不是对赛事的“台前幕后”以及TI-ONE有了更多的了解了呢？

TIPS：

2021腾讯广告算法大赛复赛已于6月16日12点正式拉开序幕，TI-ONE 仍将作为官方唯一指定平台为复赛选手保驾护航，祝愿大家愈战愈勇，取得满意的成绩。

另外，TI-ONE 还将作为微信大数据挑战赛复赛阶段的官方唯一指定平台，为所有复赛选手提供算力支持。相信大家未来会在越来越多的比赛中看见 TI-ONE 的身影，TI-ONE也会在这个过程中不断提升用户的使用体验，愿大家在 TI-ONE 的助力加持下可以完成一个又一个的挑战，不断突破自己，取得进步！