一个 API 调 290 个模型！OmniRoute：开源 AI 网关，Token 成本暴降 60%

最近被 AI 模型的 API 管理折腾得够呛。

手头跑着几个 AI 项目，一个用 OpenAI，一个接 Claude，还有一个调 DeepSeek。每套 API Key、每套 SDK、每套计费方式都不一样。每个月对账就得花半天，时不时还有 Key 超限、报错，得一个个排查是哪个模型的额度用完了。

有没有一个统一的 API 入口，像路由器一样，自动把请求分发到最合适的模型？

结果还真让我找到了——OmniRoute。

---

OmniRoute 是什么？

简单说，它是一个开源 AI 网关，通过一个统一的 API 端点，能接入 290 家 AI 提供商的 500 多个模型。GitHub 上 27.8k Star，MIT 协议开源。

核心能力：

• 290 个 AI 提供商：OpenAI、Anthropic、Google、DeepSeek、Mistral、Groq、NVIDIA……你能想到的都在。
• 19 种路由策略：优先级、成本最优、轮询、自动评分……
• 4 层自动降级：订阅 Key 用完切 API Key，API Key 超限切廉价 Key，再不行切免费 Key。
• 3 层熔断保护：提供商级别、Key 级别、模型级别，一个挂了不影响其他的。
• 内置 Token 压缩引擎：12 种压缩技术叠加，最多省 95% 的 token。
• MCP 服务器 + A2A 协议：兼容 30 多个 AI 编程工具，Claude Code、Cursor、Aider 都能接。

---

核心功能拆解

1. 290 个模型，一个 API

所有模型都统一用 OpenAI 兼容格式调用。代码里只需把 base_url 改成 http://localhost:20128/v1，model 参数指定模型名字就行。

以前维护多套 API 对接代码，现在一个 base_url 搞定。

2. 智能路由：成本自动最优

内置 19 种路由策略，可以自由组合：

• 优先级路由：指定首选模型，挂了自动切备选。
• 成本最优路由：自动从所有可用模型里选出当前最便宜的（帮我省了至少 60% 费用）。
• 自动评分：综合健康度、成本、延迟、成功率动态评分流转。

3. Token 压缩：同样的对话少花钱

内置 12 种压缩方案（Lite, Standard, Aggressive, Ultra, RTK 模式），压缩率高达 15%~95%，且代码块与关键 JSON 字节级无损保留。

4. 90+ 免费模型，零成本调试

OmniRoute 内置了 90 多个免费提供商，其中 40 多个永久免费，非常适合原型验证与开发测试。

---

安装上手：一行命令

npm install -g omniroute
omniroute

或者使用 Docker：

docker run -d --name omniroute --restart unless-stopped \
  -p 127.0.0.1:20128:20128 -v omniroute-data:/app/data \
  diegosouzapw/omniroute:latest

装完访问 http://localhost:20128 即可在 Dashboard 控制台直观管理所有模型与费用明细。

---

同类对比

对比项	OmniRoute	LiteLLM	OpenAI Gateway
支持提供商	290 家	~100	仅 OpenAI
免费模型	90+	极少	无
路由策略	19 种	3-5 种	无
Token 压缩	15-95%	无	无
MCP 协议	支持	不支持	不支持
自托管	100%	是	仅云端

---

总结

如果你也在被多模型 API Key 管理、频繁切模型、对账繁琐所困扰，OmniRoute 绝对是个人开发者与 AI 团队不可错过的基础设施神器。

开源地址：https://github.com/diegosouzapw/OmniRoute