图神经网络作CV骨干模型,来听听华为诺亚是怎么做的

2022-06-27 12:43:14 浏览数 (1)

在计算机视觉领域,骨干网络一直是特征提取的重要部件。从 AlexNet 到 ResNet,卷积网络 CNN 在很长一段时间内一直是视觉任务的标配。近年来,基于注意力机制的 Transformer 和以全连接层为主的 MLP 网络也开始在计算机视觉领域崭露头角。与现有主流 CNN 模型相比,基于 Transformer 或 MLP 的模型在视觉任务上也显示出了良好的性能。

直到现在,关于谁是更好的视觉骨干网络还是一个仍在探索和颇具争议的课题。传统的卷积网络将图像视作一个矩阵或网格,通过滑动窗口对邻域像素点或特征点进行聚合;视觉 Transformer 或 MLP 则是输入图片切分为若干个图像块,形成一个序列,用注意力机制或全连接层处理序列关系。网格或序列表示方法,对于图像来说显得不够灵活。比如一个人往往由头部、四肢和躯干构成,这些部位之间有一定连接关系,是一种非规则化的会变化的模式。

针对这些情况,华为诺亚方舟实验室联合中国科学院软件研究所、北大等机构的研究者在论文《Vision GNN: An Image is Worth Graph of Nodes》中,提出了一种新型视觉图神经网络(Vision GNN),它能够更灵活地对图像表征进行建模,在图像识别和目标检测等通用视觉任务取得了不错的效果。

机器之心最新一期线上分享邀请到了论文共同一作、华为诺亚方舟实验室研究员韩凯,为大家详细解读如何只用 GNN 来做视觉任务。

分享主题:Vision GNN: An Image is Worth Graph of Nodes

分享嘉宾:韩凯,华为诺亚方舟实验室研究员,主要研究方向为深度学习和计算机视觉。他在 NeurIPS/CVPR/TPAMI 等顶会顶刊发表 20 余篇论文,多项研究成果应用于华为产品线。他的谷歌学术引用 2000 ,其中 GhostNet 和 TNT 入选 PaperDigest Most Influential Papers 榜单。

分享摘要:华为诺亚实验室的研究员联合高校发现图神经网络(GNN)也能做视觉骨干网络。将图像表示为图结构,通过简洁高效的适配,提出一种新型视觉网络架构 ViG,表现优于传统的卷积网络和 Transformer。在 ImageNet 图像识别任务,ViG 在相似计算量情况下 Top-1 正确率达 82.1%,高于 ResNet 和 Swin Transformer。

论文链接:https://arxiv.org/pdf/2206.00272.pdf

加群看直播

直播间:关注机动组视频号预约直播,北京时间6月29日19:00开播。

交流群:本次直播有QA环节,欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。

  • 点击阅读原文,访问机动组官网,观看往期回顾;
  • 关注机动组服务号,获取每周直播预告。

0 人点赞