它简化了应用程序和 AI 模型之间的交互，并提供了一种管理安全、治理、可观察性和成本管理的方法。
译自 What Is an AI Gateway and Do You Need One Yet?，作者 Liam Crilly。
如果你正在阅读本文，那么你几乎 100% 已经尝试过 AI 应用程序，并且正在从事一份工作，其中你已经尝试过 AI 应用程序。从 GitHub Copilot 到 Microsoft Office Copilot 再到 ChatGPT 等，AI 已从“我们总有一天会实现”高速发展到“你的 AI 战略是什么？”
因此，企业正在迅速采用 AI——创造增强的最终用户体验、降低运营成本并获得竞争优势。围绕 AI 流程和工作流构建的全新应用程序类别正在涌现。与大多数新应用程序和服务一样，AI 服务（例如 OpenAI 或各种云提供商提供的服务）是通过 API 交付和使用的。
AI 网关是专门构建的系统，用于管理、保护和观察激增的 AI 流量和应用程序需求。因此，它们正迅速成为一个重要的产品类别。那么什么是 AI 网关？你现在需要它吗？
什么是 AI 网关：快速定义
AI 网关是一种专门的设备或解决方案，旨在管理和简化应用程序与 AI 模型之间的交互，尤其是在 大型语言模型 (LLM)和其他 AI 服务的上下文中。网关充当 AI 流量的集中控制点，为应用程序提供一个统一的界面来访问各种 AI 后端和模型。AI 网关还允许运营和安全团队管理关键领域，例如安全、治理、可观察性和成本管理。
大多数 AI 网关涵盖以下功能集：
安全性和合规性
AI 安全既至关重要，也是基本要求。AI 应用程序可能用于处理客户数据或其他形式的个人身份信息，并且通常会暴露给有价值的专有公司数据。第三方 AI 机器人越来越多地尝试在未经授权的情况下对公开暴露的数据进行训练。
网关处理身份验证和零信任，充当 AI 服务和 API 访问的守门人。
针对这些和其他风险，AI 网关正在成为一种新型防火墙。AI 网关管理 AI 服务的消费者和提供者的安全凭据。
网关处理身份验证和零信任，充当 AI 服务和 API 访问的守门人。它还提供了一个授权层，以确保只有经过批准的用户才能访问特定服务，或者根据定义的策略批准使用服务。策略可能会根据地理位置、业务部门、角色、基础设施提供商或基础设施类型限制使用。
对于特定的 AI 提示管理，AI 网关可以实现提示安全、验证和模板生成。这通过在一个 控制平面中整合功能来简化提示管理，该控制平面可以管理，而无需在本地开发环境或不同的模型系统或 AI 应用程序上进行更新。这对于负责任和合规的 AI 使用至关重要，因为它可以防止开发人员围绕受限主题构建 AI 集成或在提示中设置错误的上下文。
此外，AI 网关用作 AI 数据的防火墙或数字丢失保护系统。功能齐全的 AI 网关可以防止模型中毒、模型窃取和其他新兴的 AI 系统网络安全威胁。
负载均衡和集中式消费管理
即使你还没有 AI 负载均衡器，你也可能需要一个。AI 应用程序可能非常依赖数据和计算。如果不管理 AI 应用程序的流程，可能会导致非常昂贵的 GPU 在等待管道中资源不足的上游部分完成作业时处于空闲状态。对于面向消费者的产品，AI 应用程序的延迟是致命的——你让某人等待聊天机器人响应的时间越长，他们向左或向右滑动的可能性就越大。
然后是消费问题。当今大多数组织都在使用多个 AI 模型即服务产品。这些产品主要通过其云提供商或其他第三方服务提供。AI 网关为管理组织内不同团队和应用程序之间的 AI 消费提供了一个集中式平台。这种集中化对于保持对 AI 流量的控制并确保以合规和负责任的方式使用 AI 至关重要。
AI 网关为管理不同团队和应用程序之间的 AI 消费提供了一个集中式平台。
AI 网关通过提供统一的控制平面和负载均衡器，使组织能够管理所有 AI 消耗和可观测性收集。在 AI 中，消耗是不同的，因为它以 token 而不是事务或数据量来衡量。
然而，对 token 进行简单测量是不精确的：某些类型的查询需要更多标记来运行作业，并且对相同提示所需标记的数量也可能随时间而变化。换句话说，设想一下如果您的标准应用程序针对相同请求返回可变数量的数据。这是人工智能细微差别的核心所在——消耗更难以预测和控制。
简化开发人员工作流
如今，开发人员和平台运营团队面临着一系列令人眼花缭乱的人工智能集成和 API 供选择。云提供商可以通过他们的 API 简化使用，而 AI 网关旨在允许轻松管理 AI API，并为集成提供一个单一的管理点。
AI 网关支持多个 AI 服务并提供一个单一的 API 接口，开发人员可以使用该接口访问他们需要的任何 AI 模型。这些端点可能允许开发人员访问 OpenAI 提供的各种模型，还允许访问托管在 Hugging Face 上的数千种更精细调整的开源模型和工具。AI 网关可以使需要接入 AI 服务的团队的加入自动化。
是的，人工智能蔓延是一种糟糕的事情，而且您不希望您的开发者与它扯上关系。
该统一 API 端点简化了开发工作流程并加快了集成过程。反过来，它允许开发者专注于构建人工智能应用程序，而不是管理复杂的集成。
如同开发者希望在软件开发中从框架和开源模块的调色板中进行选择一样，人工智能开发者越来越需要获得多种模型和人工智能服务，以便能够更快、更适当的定制应用程序。是的，人工智能蔓延是一种糟糕的事情，而且您不希望您的开发者与它扯上关系。
成本优化、监控和可观测性
AI 网关允许组织从其 AI 使用情况中学习以管理和降低成本。网关可以提供对每个模型消耗的配额的见解，从而实现高效的资源分配和成本控制。更高级的 AI 网关可以通过向每个作业应用上下文，将正确的 AI 计算作业类型定向到最经济的基础设施。
更高级的 AI 网关可以通过将上下文应用于每个作业，将正确类型的 AI 计算作业导向最经济的基础架构。例如，可能需要海量扩展和吞吐量的最重要的作业可能会定向到最高容量的 GPU 服务器集群，而更简单的推理作业可以定向到更接近终端用户但功能较弱的 GPU。
优化另一面的内容是可观测性和监视。AI 网关从一个地方管理 AI 的可观测性，甚至可以将数据发送给第三方日志/度量收集器。这有助于更轻松地捕获正在生成的所有 AI 流量，以进一步确保数据合规性并识别使用中的任何异常。其中一些与安全性重叠，但大部分是 AI 特有的，因为 AI 的消耗模式不同，并且发出问题信号的异常也不同。
例如，对于生产环境中应用程序的 AI 推理，其看起来也许与普通应用程序流量类似，但 AI 模型的训练和调整看起来会极其不稳定，拥有海量流动和依赖性计算作业，需要密切监测以确保不会出现 GPU 在低效的数据管道中等待空转的情况。
为 AI 的狂野西部带来秩序
为了让事情变得稍微让人迷惑一些，很多点产品着重于更全面的 AI 网关力求解决的一个或两个问题。一些供应商也在用一些特定于 AI 的功能封装 API 网关，并将其称为 AI 网关。
有很多开源项目提供了上文讨论的一些功能。例如，众多机器学习操作平台和服务为开发团队创建了统一的 API 端点以供 AI 使用。
将许多不同的产品装订在一起以获得所有功能最终将成为一个难以克服的麻烦，而且成本会更高。正如 API 管理在 API 网关上变得集中一样，AI 管理也将表现出对综合 AI 网关的偏见
。最好的网关将为接触这种强大的新技术范式的所有人提供一种有效的方法来驯服 AI“狂野西部”。最好的 AI 网关将为企业 AI 采用铺平道路，并使部署这项强大的新技术在任何规模上都更加常规、安全和经济。
