首页 / 技术
最新 最热

CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化

本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。...

Python量化模型LLM性能优化LLama.cpp
2023-12-12
1

热门文章

更多»
TCP并发服务器（多进程与多线程） 基于知识库、工作流的智能体实践 样式加载不出来，浏览器控制台报错：Resource interpreted as Stylesheet but transferred with MIME type text/html 玩转腾讯混元 | 腾讯混元大模型AIGC系列产品技术有奖征文活动 AI 检索器(AI Retriever)：RAG的重要组成部分，超强的商业优势 前端性能优化 在 C# 中获取操作系统相关信息 Safari浏览器统一字体之自定义CSS样式表 数据结构入门（3）2.链表接口实现 #HarmonyOS NEXT#写了一个好用的语音播报demo