CVPR 2022已经放榜，AI科技评论邀请阿里巴巴的小伙伴来分享他们在CVPR 2022的收获，第一场直播将30号（周三）晚18:30开始，敬请期待。
时间
3月30日 18:30
活动流程
- 18:30-19:00
分享嘉宾：徐渊鸿
分享主题：Unsupervised Visual Representation Learning by Online Constrained K-Means
- 19:00-19:30
分享嘉宾：张士伟
分享主题：Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
- 19:30-20:00
分享嘉宾：彭翔宇
分享主题：Crafting Better Contrastive Views for Siamese Representation Learning
- 20:00-20:20
QA关环节
分享概要
徐渊鸿-达摩院机器智能技术实验室
论文摘要：
解决基于聚类的无监督表征学习的性能和效率问题，提出全新的在线学习算法CoKe。
首先通过分析有监督表征学习的优化目标，我们提出一种基于聚类的无监督自学习的优化目标。在我们提出的优化目标中，需要优化的变量进一步解耦为两部分: 1. 聚类相关的聚类标签和聚类中心; 2. 表征相关的编码网络。前者通过k-means算法进行在线更新，后者通过标准的分类任务进行优化。其中分类任务的样本标签采用上一轮的聚类标签。因此CoKe可以仅使用单一视图对表征网络进行优化。最后为避免k-means中将所有样本分配到同一类的聚类结果，CoKe为每个类添加所含样本数量下界约束，并开发相应的在线优化算法。
我们的理论分析表明所提在线分配算法效果可以逼近离线最优解。实验中仅使用单台8卡服务器，便能在ImageNet的评测上超越了现有的无监督学习算法。
张士伟-达摩院城市大脑实验室
论文标题：
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
论文摘要：
互联网中海量的无剪切长视频通常包含更丰富的语义信息，且更容易获取，在实际场景中有着非常重要的应用价值。然而现有视频自监督方法在长视频中却呈现出明显的性能下降，主要原因是其太强的时空一致性假设，这种假设在长视频中难以成立。
因此，我们提出了分层一致性的方法—HiCo来直接进行长视频自监督，HiCo主要包括视觉一致性学习和主题一致性学习，即时间距离相近但视觉相似的片段保持视觉一致，时间相差较远但是表达内容语意相同的片段被认为主题一致，从两个维度进行表征学习。
实验表明，在行为识别任务上，HiCo比标准的自监督学习方法SimCLR性能提升12%以上，在行为检测上，HiCo的AUC比SimCLR提升了4%以上，均说明HiCo能够从长视频中学习的特征得到显著提升。
彭翔宇-新加坡国立大学在读博士
论文标题：
Crafting Better Contrastive Views for Siamese Representation Learning
论文摘要：
本文重新审视了传统使用的随机裁剪，指出了其在对比学习中的缺陷，并进一步为对比学习设计了新的裁剪策略，命名为“对比裁剪(ContrastiveCrop)”。ContrastiveCrop旨在确保大部分正样本对语义一致的前提下，加大样本之间的差异性，从而通过最小化对比损失学习到更泛化的特征。
具体来说，ContrastiveCrop首先需要对物体轮廓进行大致的定位，并由此来指导crops的选取，这样确保了大部分情况crop不会错失前景物体而造成错误的正样本对。在定位的基础上，ContrastiveCrop采用了中心压制的非均匀分布进行采样，从而增加了不同crops之间的差异性。ContrastiveCrop完全即插即用，且理论上适用于任何对比学习的孪生网络架构。广泛的实验表明，在几乎不增加训练内存和计算代价的前提下，ContrastiveCrop能够在若干常用数据集上稳定提升当前主流对比学习方法的性能。
扫码进入直播间
扫码进入CVPR2022交流群
若二维码过期或群内满200人时，添加小助手微信（AIyanxishe3）备注CVPR2021拉你进群
点击【阅读原文】，进入直播间
