最新 最热

C# ReaderWriterLock

ReaderWriterLock是C#中用于同步访问共享资源的机制。它允许多个线程同时进行读取操作,但只允许一个线程进行写入操作。这种锁定机制提高了在读取操作远远多于写入操作的场景下的性能。...

2023-10-24
1

SGD 的光辉,带来深度学习的意义

7月份,纽约大学(NYU)博士后Naomi Saphra撰写了一篇题为“Interpretability Creationism”,从进化论的角度解释了随机梯度下降(SGD)与深度学习之间的关系,解读视角发人深思。...

2023-10-24
1

Nat. Comput. Sci. | PBCNet:药物先导化合物优化的人工智能新方法

先导化合物的结构优化(Lead optimization)是药物设计的核心环节,需要通过DMTA(设计-合成-测试-分析)的反复循环来提高化合物活性、特异性、成药性等性质。长期以来,先导化合物的活性优化高度依赖药物化学家的经验以及大量的...

2023-10-24
1

X-HRNet:基于空间线性 self-attention 机制的轻量级人体姿态估计网络

2D 人体姿势估计旨在从整个图像空间中定位所有人体关节。但是想要实现高性能的人姿态估计,高分辨率是必不可少的重要前提,随之带来的是计算复杂度的提升,导致很难将其部署在广泛使用的移动设备上。因此,构建一个轻量且高...

2023-10-24
1

从压缩视角看语言大模型

压缩基本上是一种高效表示数据的方法。预测模型的目标是从历史数据中预测未来的数据或输出。如果一个模型能够准确地预测数据,那么这意味着它已经学会了数据的某种结构或模式。知道这些结构或模式可以使我们更有效地表...

2023-10-24
1

ICCV 2023 | 基于模型的深度视频压缩

传统的混合视频编码框架和现有的基于深度学习的视频压缩(DLVC)方法都遵循相同的视频压缩方法,通过设计各种模块来减少空间和时间冗余。它们使用同一帧或相邻帧中的相邻像素作为参考来导出帧内或帧间预测值。由于视频序列...

2023-10-24
1

ED-NeRF:基于隐空间NeRF的3D场景高效文本引导编辑

近年来,在神经网络中嵌入 3D 图像的神经隐式表示法的发展取得了显著进展。这一进步使得只使用一组有限的训练视角就能从各个角度渲染图像成为可能。从使用简单的 MLP 网络训练的 NeRF 开始,人们提出了各种基于先进网络...

2023-10-24
1

MetaAI & 华盛顿 | 提出跨文档的语言建模,7B模型性能提高5%,RC任务提高15%

语言模型有时很难理解比较复杂的上下文,它们可能无法准确遵循指令并难以对文档进行推理,从而导致模型在上下文学习中表现出很大的差异。为此,本文作者提出一种新的方法:上下文预训练(IN-CONTEXT PRETRAINING),其中语言模型在...

2023-10-24
1

上海交大 | 提出Meta-CoT思维链,增强 LLMs 在「混合任务场景」中的推理能力

思维链(CoT)提示可以大大提升大型语言模型(LLMs)的推理能力。然而,当前CoT方法要么采用简单的通用提示,例如“让我们一步一步思考”,要么严重依赖手工制作的特定任务Demo来获得更好的性能,这使其在性能和泛化之间产生了不可...

2023-10-24
1

NeurIPS 2023 | 分享10篇值得阅读的paper,其中减少batch,可有助提升训练效果

上个月,NeurIPS 2023 官方放出了录用结果:12343篇有效论文投稿,接收率为 26.1%,几家欢喜几家忧。最近抽时间看了下已接收的论文,整理了十篇还不错的文章给大家分享一下,主要涉及:大模型推理提升、预训练、强化学习、数据集等...

2023-10-24
1