PyTorch 是深度学习领域最受欢迎的框架之一，初始版本于 2016 年 9 月由 Adam Paszke、Sam Gross、Soumith Chintala 等人创建，并于 2017 年在 GitHub 上开源。PyTorch 很简洁、易于使用、支持动态计算图而且内存使用很...

注意力（Attention）机制最早在计算机视觉中应用，后来又在 NLP 领域发扬光大，该机制将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。...

目标检测是计算机视觉中一个非常流行的任务，在这个任务中，给定一个图像，你预测图像中物体的包围盒(通常是矩形的) ，并且识别物体的类型。在这个图像中可能有多个对象，而且现在有各种先进的技术和框架来解决这个问题，例如 Fa...

不知道大家有没有这样的体会，在读论文的时候经常会发现一些非常精妙的idea，作者在各个任务上都用这个结构达到非常好的performance。(ᗒᗨᗕ)看完论文之后，不禁为作者提出的这个idea拍手叫好（＾ω＾），但是打开作者的github一看，...

https://github.com/oborchers/Medium_Repo/blob/master/Putting%20GPT-Neo%20into%20Production%20using%C2%A0ONNX/ONNX-Export.ipynb

Bert 全称为 Bidirectional Encoder Representations from Transformers（Bert）。和 ELMo 不同，BERT 通过在所有层联合调节左右两个上下文来预训练深层双向表示，此外还通过组装长句作为输入增强了对长程语义的理解。Bert ...

视频已逐渐超过文字和图片，可以说成为了现在使用最广的媒体形式，同时也占据了用户更多的浏览时间，这就使得视频理解变得尤为重要。

近日，快手和苏黎世理工宣布开源分布式训练框架 Bagua（八卦），相比于 PyTorch、TensorFlow 等现有深度学习开源框架仅针对系统层面进行优化，Bagua 突破了这一点，专门针对分布式场景设计了特定的优化算法，实现了算法和系统层面...

我们在训练神经网络的时候，超参数batch_size的大小会对模型最终效果产生很大的影响，通常的经验是，batch_size越小效果越差；batch_size越大模型越稳定。理想很丰满，现实很骨感，很多时候不是你想增大batch_size就能增大的，受限...

视频作为当今最被广为使用的媒体形式，已逐渐超过文字和图片占据了人们更多的浏览时间。这使得视频理解变得尤为重要。各大互联网公司与顶尖高校纷纷绞尽脑汁，竞相研究前沿视频理解模型与算法。在谷歌，脸书，亚麻，Open-MM La...