我要投稿

Higress.ai 站点全新发布，轻松解锁 AI 新能力，开启全球服务！

发布日期：2025-03-24 21:17:36 浏览次数： 2004

作者：阿里云云原生

微信搜一搜，关注“阿里云云原生”

随着大模型技术的快速发展，AI 应用的工程化对底层基础设施提出了诸多需求，尤其是工程化过程中在安全、效率、性能等方面提出了更高的诉求。其中，AI 网关是非常重要的 AI 基础设施组件之一。

AI 网关是传统 API 网关面向大模型场景的深度演进，它在保障基础网关能力的同时，针对 AI 服务的特性进行了专项增强：

场景特性适配：专门优化长连接、高并发、大带宽等传输需求，适配大模型服务的高延迟特性。
智能流量治理：支持多模型动态路由、智能负载均衡、API Key 轮转调度、语义化请求缓存。
安全合规保障：内置内容安全过滤、Token 配额管理、多级限流熔断等安全能力。
成本精细管控：提供调用审计分析、流量灰度分发、失败请求自动重试等运维工具。

通过统一接入层协议，AI 网关帮助开发者实现多源 AI 服务的高效整合与管理，降低复杂场景下的接入与运维成本。关于 AI 网关的核心能力和使用场景，更全面的描述可参考以下两篇文章：

AI 网关的核心能力依旧处于定义的初期阶段，但离不开快速集成 AI Agent 和 LLM API 的核心。

这8个使用场景是目前我们服务开源和商业用户过程中，总结出来最高频的。随着 AI 网关能力的扩展和增强，使用场景也在逐步丰富过程中。

Higress 开源站在原主站点上新增了专门面向 AI 场景的子站点，并提供中文版和国际版(Beta)，国际版用于服务全球开发者。

Higress.ai 除了提供常见的最佳实践(文章形式)/社区/企业版/GitHub/文档等功能外，特别设计了快速体验 AI 网关的【场景体验】，并提供开源体验和云上体验两种方式。同时，我们会在该站点首发 Higress AI 网关的最新能力。例如，我们即将上线 AI Guideline 提示词功能，开发者基于通义灵码/Cursor 等 AI 编程工具，将 Nginx/Kong 的 Lua 插件快速转化为 Higress Wasm 插件。

Higress.ai 上线后，您可能会关心以下几个问题：

Higress.ai 和 Higress.cn

有什么不同？

Cloud Native

Higress 是一款云原生 API 网关，内核基于 Istio 和 Envoy，将流量网关、微服务网关、安全网关和 AI 网关四合一，可以用 Go/Rust/JS 等编写 Wasm 插件，提供了数十个现成的通用插件，以及开箱即用的控制台。

Higress.cn 是 Higress 的主站点，作为 Higress 的官方技术门户及一站式资源平台，专注于为开发者提供与 Higress 技术栈相关的核心能力展示、开源生态支持及企业用户最佳实践。

其中，AI 网关作为现代 AI 基础设施的关键组件，其技术演进与大语言模型的生态发展存在深度耦合。在 LLM 技术栈中，检索增强生成（RAG）、智能体（Agent）、MCP 协议等新技术的不断涌现，为 AI 网关在协议优化、流量治理、模型调度等维度开辟了多维度的技术演进方向。

为了更好地向开发者们展示 AI 网关内容的丰度，Higress.ai 应运而生，旨在为 Agent 开发框架集成、LLM API 治理等典型 AI 应用场景，提供体验 AI 网关及展示的独立渠道。同时，Higress.ai 上也会展示 Higress 在 AI 网关下的探索，和 AI 开发者们共同定义下一代 AI 原生网关的技术方向。此外，Higress.ai 将作为我们服务全球 AI 开发者的起点。

需要注意的是，AI 网关并不是独立于 API 网关的新形态，本质也是一种 API 网关，区别在于针对 AI 场景的新需求专门做了扩展，它既是 API 网关的继承，也是 API 网关的演进。

Higress 以后只做 AI 网关了吗？

Cloud Native

当然不是。

AI 时代， Agent 和大模型都对接入层提出了更多的需求，以避免服务的“负重”。这给 AI 网关带来了历史发展机遇。

我们早在去年6月发布 v1.4 时，就开源了诸多 AI 网关的能力，并不是春节期间大模型加速发展后的突发奇想。延伸阅读：去年6月开源 AI 网关能力。

我们认为，AI 负载和经典负载会持续融合，以发挥 AI 的无限能力，并在接入层形成统一管理。因此，Higress 依旧深耕在流量网关、微服务网关、安全网关上，以提升能力和体验。

在流量网关层面，Higress 可以作为 K8s 集群的 Ingress 入口网关, 并且兼容了大量 K8s Nginx Ingress 的注解，可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。

在微服务网关层面，Higress 能够对接多种类型的注册中心发现服务配置路由，例如 Nacos、ZooKeeper、Consul、Eureka 等，并且深度集成了 Dubbo、Nacos、 Sentinel 等微服务技术栈。相比传统 Java 类微服务网关，Higress 基于 Envoy C++ 网关内核能够表现出更出色性能，可以显著降低资源使用率，减少成本。

在安全网关层面，Higress 提供 WAF 的能力，并且支持多种认证鉴权策略，例如 key-auth、hmac-auth、jwt-auth、basic-auth、OIDC 等。

Higress 的流量网关、微服务网关、安全网关、AI 网关，都提供了商业增强的云服务，在阿里云上的云服务产品是【API 网关】。