你怎么看CV-Transformer【秋招面经分享】

2022-07-21 19:10:30 浏览数 (1)

秋招来了,跳槽季马上到了,大家多看别人的面经提前积攒经验,多了解几个热门&前沿知识点!别在侃侃而谈的时候,因为一个开放性问题卡壳,真的很社死!

最近面试的时候,面试官问了我一个问题:

你怎么看CV中的Transformer的!

当时我就懵了呢!因为前面还在聊技术问题,立马调整气势,说到:

我知道Transformer在NLP方面非常有实力!因为它在分类、检测等任务上展现了极其强劲的性能。而且骨干网络上的发展也推动了下游任务的发展,Swin Transformer更是成了屠榜般的存在,在工业界具有广阔的应用前景。

比如:

NLP中的训练方法是输入一个句子,盖住其中的几个词,然后要模型预测出盖住的词。

非常自然的能够想到CV中可以这样训练:输入一个图像,盖住其中的几个patch,然后要模型预测出盖住的patch。

但要想啃透CV Transformer 难度不小:

一方面,Transformer本是应用于NLP的论文,其中很多内容都形成了共识,在论文中并不会去详细介绍这些共识内容,例如QKV是什么,embedding是什么等,对于其他方向的人看到这些就很难理解。

另一方面,近小半年,Transformer CV的论文就已经有40多篇。学术研究更新之快,与脱发速度成正比

我学习Transformer CV的论文无非三个步骤:泛读、精读、代码复现。

给大家推荐科研一线——电子羊老师,推出的【CV中的Transformer专题MAE详解直播】,帮你彻底夯实 CV Transformer 基础。

PS:在学习MAE之前需要学习前置知识ViT的结构,输入以及输出。

↓ 前方福利 ↓

现在预约《MAE》直播0.1

扫描

0 人点赞