用ComfyUI的思路设计Agent工作流

2024-04-19 14:18:19 浏览数 (1)

过去几周,我一直在思考如何用自然语言来编写Agent工作流。起初我的思路是通过LLM从自然语言中提炼出可用于表达Workflow的DSL,再由DSL来驱动流程引擎。但是在实现过程中,我发现流程引擎的能力与DSL的匹配度其实很难把握,其中的根源在于DSL本身的设计,往往具有局限性。在使用了ComfyUI的工作流之后,我有了新想法,这篇文章就来聊一聊。

什么是ComfyUI?

在AIGC领域,除了LLM,我想你应该都了解文生图这个领域,而该领域的开源模型Stable Diffusion则占据了大半江山。由于开源社区的强大,SD的生态非常丰富。作为其官方公司Stability仅仅发布了底座模型,甚至都没有UI,而社区目前最主流的两大UI(WebUI和ComfyUI)都非官方作品,却派生了更大的社区空间。(最近新的UI工具forge也涌现出来,开源真的促进发展。)

WebUI以配置为操作模式,用户通过选、填来完成模型操作。而ComfyUI则是以工作流为操作模式,用户需要通过配置出一个个的pipeline,通过不同节点和连线来完成模型操作和内容生成。两者各有优势,但在灵活性和深度上,ComfyUI更胜一筹。如果WebUI是一次冒险旅行,那么ComfyUI则是一场拉力赛,前者短时间浅尝辄止,后者有些累人但柳暗花明。如果你还没有用过,建议你现在就去尝试一下。关注本公众号 wwwtangshuangnet 点击下方赞赏“喜欢作者”后在公众号聊天窗口回复 comfyui 即可获得在线免费体验 comfyui 机会,是真的可以生成图片那种哦

0 人点赞