【周末瞎想】LLM应该如何落地?

2023-10-26 18:32:59 浏览数 (1)

每周总得有点思考。

最近LLM的发展依旧如火如荼,各类行业新闻层出不穷。

除了做LLM本身的技术,如何将LLM结合具体行业、结合具体产品进行落地,是很多公司在探索的。

这周我也针对自己负责的业务,思考了一下如何和LLM结合,创造新的业务价值点。

从LLM出发,想想可以怎么用

文生文、文生图、AI agent,这些是LLM当前一些比较典型的能力。

我先尝试从这些能力出发,想想可以如何利用。

一个典型的代表就是通过文生文,实现Text2SQL、chat2DB等类似场景,通过自然语言输入转化为SQL或其他数据库查询语言。

业界的项目挺多,结合openai的API写了个Demo快速体验了一下:

初步看效果还可以。结合表结构信息作为prompt,能够准确翻译我的问题,把“统计下最新的3个app”翻译为SQL,并且附带了相关具体字段返回。

但是我马上想了下,

我的用户真的需要这个功能吗??

我们团队的用户主要是研发同学,写SQL是最基本的能力,写SQL的时间花费和写自然语言基本相当,甚至可能会更快一点。

但是,如果自然语言转SQL不是百分之一百准确,那用于调整SQL语句的时间就完全是浪费的。

这个功能可能更适合BI分析的非研发用户去使用。

所以,有的能力看似很有噱头,但在我的用户那里,可能并不需要。

从用户出发,想想可以怎么用

那回到业务本身呢,我的用户的痛点和需求是什么?

常常不知道新的平台功能怎么用。

遇到自研组件异常不知道如何定位。

遇到线上问题无法快速找到根因。

这些常见问题能用LLM解决吗?

通过prompt或者RAG来实现「特定领域知识问答」或者「自动根因分析」 应该能比较好的解决以上问题,提升研发效率,减少人工答疑和运维,

从用户出发,从用户的痛点和需求出发,相信能取得不错的效果。

所以,LLM应该如何落地?

用乔布斯关于技术和业务关系的一段论述作为结尾:

0 人点赞