AutoPrompt
Auto Prompt 是一个旨在提升和完善您的提示以适应现实世界用例的提示优化框架。
该框架自动生成针对用户意图量身定制的高质量、详细的提示。它采用了一种细化（校准）过程，通过迭代构建一个具有挑战性边缘案例的数据集并相应地优化提示。这种方法不仅减少了提示工程中的人工工作量，而且有效解决了常见问题，例如提示敏感性和固有的提示模糊性问题。
我们的使命：利用大型语言模型（LLMs）的力量，使用户能够生成高质量、稳健的提示。
为什么选择 Auto Prompt？
•提示工程挑战：LLMs 的质量在很大程度上取决于所使用的提示。即使是微小的变化也可能显著影响它们的性能。•基准测试挑战：为生产级提示创建基准往往既费力又耗时。•可靠的提示：Auto Prompt 生成稳健的高质量提示，使用最少的数据和注释步骤提供精确度和性能提升。•模块化和适应性：Auto Prompt 以模块化为核心，可以与 LangChain、Wandb 和 Argilla 等流行的开源工具无缝集成，并可用于包括数据合成和提示迁移在内的多种任务。
系统概览
系统针对现实世界场景设计，如审核任务，这些任务通常受到不平衡数据分布的挑战。系统实施了基于意图的提示校准方法。过程从用户提供的初始提示和任务描述开始，可选地包括用户示例。细化过程通过迭代生成多样化样本、通过用户/LLM 注释它们并评估提示性能，之后 LLM 会建议一个改进的提示。
通过首先设计一个排名提示，然后使用这个学习到的排名进行提示优化，可以将优化过程扩展到内容生成任务。优化在达到预算或迭代限制时结束。
这种联合合成数据生成和提示优化方法在需要最少的数据和迭代次数的同时，优于传统方法。在我们的论文《基于意图的提示校准：通过合成边界案例增强提示优化》（E. Levi 等人，2024）中了解更多。
使用 GPT-4 Turbo，这种优化通常在几分钟内完成，成本不到 1 美元。为了管理与 GPT-4 LLM 的令牌使用相关的成本，框架允许用户设置优化的预算限制，以美元或令牌计数表示，如此处所示。
演示
