赛事相关 | 揭秘 TI-ONE 大型赛事支撑能力是如何练就的

2021-12-21 11:18:03 浏览数 (3)

2021腾讯广告算法大赛初赛阶段已经结束,大赛共收到来自国内外上千家高校和企事业单位的 4,335人 报名参赛。作为大赛官方指定赛期唯一专用机器学习平台,腾讯云TI平台中的机器学习平台 TI-ONE(以下简称 TI-ONE)不仅为所有参赛选手提供从数据预处理、模型构建、模型训练、模型评估的全流程训练能力,而且提供了多达 1000张 的GPU卡和 500T 的高性能存储,支持 1500  选手顺利完成比赛。

那么,连续四届作为腾讯广告算法大赛的支持平台,TI-ONE 究竟具备怎样的优势?基于此,小编邀请到了参与整个赛事流程的TI-ONE技术方面的专家,腾讯云高级工程师谢博文,他将从技术的角度为大家揭秘 TI-ONE 是如何一步步练就大型赛事支撑能力的。

 Q1:今年赛事和去年赛事相比有什么不同?挑战性在哪?

今年赛题以视频广告为主题,所使用的数据集为敏感的视频数据,这对 TI-ONE 提出了不少挑战。

一方面视频数据的读取与训练对平台的算力、数据读写性能提出了很大的挑战,需要我们从比赛初期就要准备充足稳定的 GPU 算力,以及高吞吐量的数据存储服务。

另一方面赛事主办方对数据的安全性有严格的要求,需要 TI-ONE 保证数据不会被轻易泄漏到互联网环境。

另外,由于视频类训练任务对参赛选手的工程、研究、算法开发能力均提出了更高的要求,参赛选手要在初赛期间完成数据处理、算法实现、模型调优、结果测试等步骤,需要完善、稳定的深度学习训练环境。

 Q2:为支持今年赛事,TI-ONE在哪些方面做了怎样的准备和提升?

首先,我们筹备了大量 GPU 资源,并通过合理规划代金券发放方式优化选手使用算力的时间分布,保证了选手在需要时都能顺利申请到计算资源。

其次,我们在赛前做了充足的测算和演练,评估出比赛所需的典型算力和显存开销,并基于此在选手创建算力资源时为其推荐默认的最佳配置,这样既为选手节约了代金券开销,也有效地提高了全平台的 GPU 利用率。

再次,为了保障数据的安全性和读写性能,我们引入了高性能版CFS 存储服务,此方案限定了选手只能在内网环境下访问数据,且能提供总计高达 10GB/s 的读写吞吐量。开赛初期,大量选手在内网并发访问多达50GB的视频数据时,每个选手也都能达到 100MB/s 的读取速度。

最后,我们提供了开箱即用的 Jupyter Notebook 版本的Baseline,且提供了可以直接执行 Baseline 程序的完整的conda 环境初始化脚本,选手在此 Notebook 的引导下,可以高效的完成算法开发环境的搭建,并轻松的实现模型训练、结果测试等任务。

 Q3:TI-ONE作为专业的赛事平台,有哪些优势呢?

首先,TI-ONE作为算法大赛的唯一官方指定平台,可以提供丰富的算力资源支持上千人同时进行比赛,为选手提供卓越的赛事体验,同时兼容 TensorFlow、Pytorch、Pycaffe 等主流开源机器学习框架,选手可在平台上灵活地定义算法模块。

其次,TI-ONE支持多种结构化/非结构化数据源及数据存储的适配作为平台存储,同时支持对接多种外部数据源获取训练样本及业务生产数据,除了大赛使用的腾讯云COS存储,还包括数据库存储、Ceph存储等,为选手消除后顾之忧。

再次,TI-ONE内置超过150种算法算子,涵盖数据接入,数据处理,特征工程,机器学习框架/算法,深度学习框架/算法,可视化评估等多种模型构建环节,可以全方位满足参赛选手的要求。

最后,使用TI-ONE进行比赛,选手可以节省搭建机器学习平台和管理物理资源的时间,把精力聚焦在更有价值的建模工作上,提升效率。


看完博文的精彩分享,大家是不是对赛事的“台前幕后”以及TI-ONE有了更多的了解了呢?

TIPS:

2021腾讯广告算法大赛复赛已于6月16日12点正式拉开序幕,TI-ONE 仍将作为官方唯一指定平台为复赛选手保驾护航,祝愿大家愈战愈勇,取得满意的成绩。

另外,TI-ONE 还将作为微信大数据挑战赛复赛阶段的官方唯一指定平台,为所有复赛选手提供算力支持。相信大家未来会在越来越多的比赛中看见 TI-ONE 的身影,TI-ONE也会在这个过程中不断提升用户的使用体验,愿大家在 TI-ONE 的助力加持下可以完成一个又一个的挑战,不断突破自己,取得进步!

0 人点赞