最新 最热

是谁~还不会优雅的构建fewshot!

大型语言模型的few-shot能力指的是它们在只提供极少量样本或示例时,就能够理解并执行特定任务的能力。这种能力使得模型能够在新的上下文中进行推理和表达新任务,而无需大量的训练数据。...

2024-04-18
0

使用Triton+TensorRT-LLM部署Deepseek模型

随着大模型项目的开源环境越来越好,大家在本地部署一个大语言模型跑demo应该是一件很简单的事情。但是要将模型运行到生产环境,就需要考虑模型运行性能,GPU资源的调度,高并发场景的支持等情况了。...

2024-04-17
0