最新 最热

nvidia-smi 详解(一)

nvidia-smi 全称 NVIDIA System Management Interface ,顾名思义:英伟达系统管理接口。nvidia-smi一般大家只是简单使用用来查询英伟达系列显卡的使用情况/工作情况(显存使用量/显卡利用率/显卡工作线程)等。如下图所示:...

2024-01-17
2

皮衣老黄套路多!被抢破头的 GPU,其实没有任何惊喜

从诸多方面来看,2023 年对于想要搭建游戏主机和商用工作站的用户们来说,终于回归了睽违已久的正常状态。在这一年中,大部分主流产品的售价开始持平甚至略低于官方建议零售价,人们终于能以相对合理的价格组装各类电脑,无需...

2024-01-11
1

使用BigDL LLM在Intel® Data Center GPU上进行Llama 2模型调优

在飞速发展的生成式人工智能(GenAI)领域,大型语言模型(LLM)调优因其高计算、高内存需求而带来了独特的挑战。LoRA 和 QLoRA 等技术为最先进 LLM 模型的调优工作提供了更强大的选项,它们的速度更快,成本更低。我们已经将 QLoR...

2024-01-11
3

大模型与AI底层技术揭秘 (17) 仓鼠病了应当吃老鼠药吗

办公室里立即充满了欢快的笑声,并且建议小H化悲痛为力量,学习好科学文化知识,避免以后别再把老鼠药理解为给鼠治病的药。

2024-01-10
1

NumPy 高级教程——GPU 加速

在处理大规模数据集或进行复杂计算时,利用 GPU 进行加速是一种常见的优化手段。NumPy 提供了一些工具和技术,可以方便地在 GPU 上执行计算。在本篇博客中,我们将深入介绍 NumPy 中的 GPU 加速,并通过实例演示如何应用这些...

2024-01-09
1

AI服务器需求强劲,美光最新财测超预期

12月21日消息,美国存储芯片大厂美光(Micron)于当地时间20日盘后公布了2024财年第一财季(8-11月)财报以及第二财季(2023年12月-2024年2月)财务预测,得益于数据中心的需求增长,弥补了PC与智能手机市场复苏缓慢的影响,美光的业绩及...

2023-12-28
1

着色器语言与GPU:从软件编程到图形编程的旅程

在计算机科学中,软件编程与图形编程是两种高度专业化的领域,它们的目标和方法有着根本的区别。对于熟悉传统软件开发的开发者来说,进入图形编程可能是一个全新的世界。在这篇文章中,我们将探讨着色器语言、GPU(图形处理器)...

2023-12-13
1

大模型与AI底层技术揭秘 (12) 小日子过得不错的某岛国

这天,方老师的同事Y,很羡慕方老师有很多粉丝,所以怂恿一个熊孩子Z去问方老师一个困难的问题。

2023-12-04
1

tensorflow安装GPU版本

1.先通过该网站查看tensorflow和cuda和cudnn版本以及visual studio(MSVC)的对应关系。(可供参考)

2023-11-30
2

使用Accelerate库在多GPU上进行LLM推理

大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长,推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。...

2023-11-29
1