赛题介绍
- 比赛名称：微信多模态短视频
- 比赛页面：https://algo.weixin.qq.com/
- 比赛类型：多模态分类
多模态短视频分类是视频理解领域的基础技术之一，在安全审核、推荐运营、内容搜索等领域有着十分非常广泛的应用。一条短视频中通常包含有三种模态信息，即文本、音频、视频，它们在不同语义层面的分类体系中发挥着相互促进和补充的重要作用。
本赛题要求参赛队伍基于微信视频号短视频数据以及对应的分类标签标注，采用合理的机器学习技术对指定的测试短视频进行分类预测。
赛题数据
比赛分为初赛和复赛两个阶段：
- 初赛阶段提供百万量级的无标注数据和十万量级的有标注数据用于训练；
- 复赛阶段训练数据和初赛相同，主要区别是初赛阶段只提供视频抽帧特征，而复赛阶段提供视频抽帧原始图像。
初赛阶段所有训练数据对参赛队伍开放下载；复赛阶段的训练数据为闭源数据，参赛队伍在腾讯云TI-ONE平台完成训练。
数据集
比赛提供的数据集有三个类别：无标注训练数据集、有标注训练数据集、测试数据集。各类数据集具体包含字段如下表所示。
字段 | 初赛 | 复赛 | ||||
|---|---|---|---|---|---|---|
训练数据集 | 测试数据集 | 训练数据集 | 测试数据集 | |||
无标注 | 有标注 | 无标注 | 有标注 | |||
id | √ | √ | √ | √ | √ | √ |
category_id | × | √ | × | × | √ | × |
title | √ | √ | √ | √ | √ | √ |
frames_feature | √ | √ | √ | × | × | × |
frames | × | × | × | √ | √ | √ |
asr | √ | √ | √ | √ | √ | √ |
ocr | √ | √ | √ | √ | √ | √ |
评估标准
分类的评估指标采用F1，由于有多个类别，而且类别不均衡，所以同时采用F1 micro和F1 macro，取平均值。同时，分类体系包含一级分类和二级分类，在评测中会分别计算并取平均值。
优胜选手分享
苟进决赛
冲冲冲
抱朴子
机器不学习啦
Warriors
蜜度信息
