最近吴恩达教授在红杉资本的人工智能峰会(AI Ascent)上做了一次演讲,主要介绍了agent工作流。使用代理工作流可以显著提高AI的回复质量。好的agent工作流可以让3.5模型效果高于4.0的回复。
吴恩达提出了四种AI Agent设计模式,包括:
- 检查(Reflection):通过让AI模型自我检查以提高代码质量。
- 工具使用(Tool use):AI模型使用各种工具来执行操作、收集信息。
- 规划(Planning):AI代理进行复杂的规划算法,如失败规避。
- 多智能体协作(Multiagent collaboration):不同AI代理协作完成任务,如开发游戏。
自从用了工作流之后,我每次写提示词都会尝试用工作流来写。这里说说我对吴恩达教授介绍的四种agent模式的理解。
1. 检查(Reflection)
就是让AI来检查AI的输出,举个例子:
Step 1:你是一名专业的Python研发人员,你现在正在写一个脚本,该脚本可以自动识别world文件、pdf文件里的第一行文本,并把该文本用作文件的文件名。
Step 2: 你把写好的脚本给到了你的上司,一位资深的Python研发专家。他审查了你的代码,对性能、安全性和结构的全面评估,给出了修改建议。
Step 3: 你根据上司的建议,修改了代码并输出。
这种输出代码的质量,比你定义一个角色区输出效果要好很多。而且它还能规避很多你意想不到的问题。
2. 工具使用(Tool use)
我一开始是以为让AI去调用某些插件,后面我发现很多AI做不到。所以,我现在的理解是我们要善于使用各种生产力工具。比如,编码可以使用copilot。在GPT plus里就是各种插件。比如做数据分析的插件,做网络搜索的插件等。或者是说可以让AI运用已经很成熟的一些理论公式啥的。这样输出效果也会很好。比如让AI运用SWOT分析法分析某个行业。
3. 规划(Planning)
规划就是把一个复杂的事情分拆成多个步骤去执行。吴恩达老师举的例子:
Request:Please generate an image where a girl is reading a book,and her pose is the same as the boy in the image example.jpg,then please describe the new image with your voice.
大概意思是识别图片中男孩的姿势,然后生成一张女孩在读书的图。女孩的姿势和男孩一样。最后用语音描述这幅新生成的图片。这个在一个AI工具里是做不到的。但是在comfyui里是可以做到的。写到这里,我好像又理解让AI使用工具的意思了,应该是在comfyui这类集成工具里让AI善于调用其它工具。
4. 多智能体协作(Multiagent collaboration)
举个例子:请你扮演一个电商公司的2个不同角色,一个名字叫张三是运营总监,一个名字叫李四是产品总监。
step 1:张三先提出一个创意:搞一个拉新比赛,奖金1万元,给拉新人数最多得5000,2-3名平分3000,4-10名平分2000。
step 2 : 李四拿到方案后,给出反馈意见,并且给出优化后的作品。
不断重复这个过程,至少双方有5次相互反馈和优化的过程。最终输出一个完整的,在预算范围内,能最大程度获得最多注册量的营销方案。
你会发现,经过多轮来回沟通完善后,这个输出的方案会比你最开始的方案要好很多。而且,我们还可以定义更多的角色参与这个过程。
我们也可以想想,既然我们可以让一个人用很久的时间完成一个事情。那么我们也可以让AI用相对长的时间去完成一件事情。现在的这种即时反馈很好,未来那种一天后,几天后给你反馈,只要结果更好,我们也不是不能接受的,对吧。
完整的演讲视频链接:https://www.bilibili.com/video/BV1rm41167zX