最近，多模态大型语言模型（MLLMs）的进步已经使得在结合文本和视觉信息处理复杂的推理任务上取得了显著的进展。例如，GPT-4o 在MMMU基准测试上达到了69.1%的准确率。...

数字世界充斥着大量信息。文本、图像和视频以空前的速度被生产出来，针对文本 Query 的传统搜索系统跟不上节拍。基于关键词的搜索通常产生大量的结果，无法捕捉用户的意图或多媒体数据的丰富性，为获取所需信息设置了障碍...

近年来大型语言模型的突破性发展, 尤其是GPT-4o[50]的出现，使许多人认为开发类似J.A.R.V.I.S这样的AI助手的可能性越来越大。这样的助手将是连续的，保持始终在线状态，具有多种模态，以方便与用户的互动。...

自20世纪初以来，人工智能(AI)已经发展成为一门独立的学科。AI的核心理念是通过模拟人类智能行为来创建人工智能系统，以解决现实世界中的问题。随着计算机科学的发展，AI得到了广泛的关注和研究。本文将介绍一些重要的AI理...

当前的多模态大型语言模型（MLLM）通过将预训练的视觉编码器与强大的语言模型（Touvron等人，2023；Zheng等人，2023）整合，已经取得了显著的进展。作为通用的MLLM的一个核心组成部分，视觉表示至关重要。许多研究行人使用了CLIP 作为...

密集自我监督学习训练特征提取器，以在没有监督的情况下为图像中的每个像素或块产生表示。近年来，该领域取得了显著的进展，主要改善了无监督语义分割 ，以图像为中心的代表学习 ，以及其他密集的下游任务，如物体追踪和目标检测...

多模态预训练模型在通用的计算机视觉任务，包括分类和回归领域取得了巨大的成功[1, 2, 8]。在广泛的多样数据集上的预训练，使得多模态预训练模型能够理解不同模态（如图像、文本、音频和视频）之间的复杂模式和关系。此外，预...

随着扩散模型应用的逐渐普及和用户群体的指数增长，对扩散模型的压缩[1]和推理加速[2]的研究变得越来越重要。这些努力旨在在实际应用中节省推理时间和能耗，从而减少碳排放，为环境保护做出无声的贡献。由SnapFusion[1]代...

来源丨https://zhuanlan.zhihu.com/p/634466306

在机器学习篇章中，我们简单介绍了卷积核，今天，我们借助知乎的一篇文章，梳理一下对卷积核一些基本情况。