LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论...

论文地址：[2402.02750] KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache (arxiv.org)

在本次 workshop 中，我们介绍了如何使用 K3S 在 AWS 上设置支持 GPU 的 Kubernetes 集群，安装 NVIDIA 驱动和插件，以及部署验证测试运行 GPU 工作负载。

开源向量数据库是 AI 开发领域最热门的选择之一，其中一些您可能已经熟悉，甚至已经拥有。

构建有用的 LLM 聊天界面并非没有复杂性和挑战。Deepak Jayablalan 向我们展示了如何做到这一点。

虽然没有人确切地知道人工智能将对软件开发和部署、CI/CD 以及 DevOps 产生什么影响，但在未来尘埃落定后，将取决于适当的可观察性流程、工具和实践来分析这一切。...

结束符是一个句子（prompt）的结尾标记，再大语言模型中，句子中的每个单词都会被编码成数字才能被模型处理。同样的，结尾标记也会被编码成一个数字。再Meta给的源码中，Llama3的结束符是-1（pad_id=-1，参考llama3/llama/tokenizer....

注：langchain-wenxin （https://github.com/ninehills/langchain-wenxin）这个项⽬不再维护，因为langchain 已经⽀持了。

纯血 Rust 实现的 LLM 大模型跨平台客户端，美得很，后台链接里 WasmEdge+llama.cpp (LLamaEdge)

大语言模型（LLM）应用开发涵盖了使用预训练语言模型构建自然语言处理（NLP）应用程序的过程。以下是开发 LLM 应用的详细指南，包括安装、基础配置、常见应用场景和实际示例。...