最新 最热

Nat. Methods | 深度生成模型在单细胞 RNA 分析中的转录动态建模

今天为大家介绍的是来自Fabian J. Theis & Nir Yosef团队的一篇论文。当前估算 RNA 流速的方法缺乏有效的策略来量化不确定性并确定其对感兴趣系统的整体适用性。在这里,作者介绍了 veloVI(velocity variational infere...

2023-11-23
4

下一代云 数据库关键技术:分布式、向量化

今日,2023 第八届IDC中国数字化转型年度盛典在北京召开,会议内容围绕本土化落地人工智能(大模型)、“下一代云”、 数据安全、客户体验、数字原生等热门科技话题展开,腾讯云数据库受邀出席,和与会者一起探讨如何助力企业...

2023-11-23
1

一文速通天线效应(Antenna Effect)

在芯片生产过程中,暴露的金属线或者多晶硅(polysilicon)等导体,就像是一根根天线,会收集电荷(如等离子刻蚀产生的带电粒子)导致电位升高。天线越长,收集的电荷也就越多,电压就越高。若这片导体碰巧只接了MOS 的栅,那么高电压...

2023-11-22
2

EMNLP 2023 | 解决LLaMA、BERT等部署难题:首个4-bit浮点量化LLM来了

大语言模型 (LLM) 压缩一直备受关注,后训练量化(Post-training Quantization) 是其中一种常用算法,但是现有 PTQ 方法大多数都是 integer 量化,且当比特数低于 8 时,量化后模型的准确率会下降非常多。想较于 Integer (INT)...

2023-11-22
2

使用ExLlamaV2量化并运行EXL2模型

量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中,GPTQ在gpu上提供了惊人的性能。与非量化模型相比,该方法使用的VRAM几乎减少了3倍,同时提供了相似的精度水平和更快的生成速度。...

2023-11-22
1

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架),通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能。...

2023-11-20
1

在Amesp中提取多种类型的电子积分

在自己写量化程序或者验证量化方法的时候,需要使用到各种类型的电子积分。电子积分计算比较复杂,程序编写的门槛很高。而调用其他的程序(如PySCF)的时候也需要读懂程序的接口,这种方式也不是很方便,门槛也高。本文将介绍...

2023-11-20
1

如何评估活动效果?

答:推广渠道的曝光量增加了30%、落地页面点击率70%、活动期间有6万用户参与……(此处省略各种指标)。

2023-11-20
2

大语言模型量化方法对比:GPTQ、GGUF、AWQ

在过去的一年里,大型语言模型(llm)有了飞速的发展,在本文中,我们将探讨几种(量化)的方式,除此以外,还会介绍分片及不同的保存和压缩策略。

2023-11-20
1