一个免费AI网关，接了250家供应商，GitHub两万星了

前几天我去浏览 GitHub 的时候，察觉到有个项目连续好几天都停留在榜单上面，今天更是新增了一千多的Star，总Star数量已经达到两万五千了。这个项目名叫OmniRoute。
点进去查看了一下，好家伙，竟然是个开源的AI网关项目，选用的是MIT协议，完全免费进行使用。
这东西做的事情说起来其实挺简单的。不管你是选用Claude Code，还是运用Cursor，或者把Codex什么的都算在内，每一个工具都要求你填写一个API端点。正常情况下，大家填写的都是Anthropic、OpenAI或者Google的官方地址，然后按照使用量来进行付费。而OmniRoute呢，就是让你把本地localhost:20128/v1这个地址填进去，它来帮你把请求转发到两百家AI供应商那边去。
两百家的规模是个什么概念呢。我之前运用过的LiteLLM大概接入不到一百家供应商，OpenRouter作为一个托管平台，规模也就两三百家的样子。OmniRoute作为一个本地部署的开源项目，居然接入了250家供应商，这里面有90多家提供免费额度，还有11家是永久免费的。
这个数字本身就已经挺让人感到吃惊的了。
不过真正让我觉得有意思的地方，还是在它的路由策略设计上面。
正常情况下，要是你选用一个API代理，无非就是转发一下请求。OmniRoute却搞出了18种路由策略。像优先级路由、加权随机、成本优化、配额感知这些，并且还有一种叫作Fusion的，把请求同时发送给一组模型，然后再让一个裁判模型把答案进行综合。
听着感觉有点炫技的味道在里面。
但是往深处想一想，它解决的其实是一个很实际的痛点。当你借助Claude Code来写代码，写到一半的时候Anthropic的配额用光了，该采取什么办法呢。正常情况下，你就得停下手头工作等待配额恢复，或者去更换另外一个API key，或者干脆换个工具。OmniRoute的做法是，一旦配额用完，就在毫秒级别自动进行切换到下一个供应商，你这边完全感觉不到服务中断。它设计了一个四级降级机制，订阅额度用完就切换到API key，API key预算耗尽了就切到低价模型，要是低价模型也不行了，就切到免费供应商。
依靠免费供应商来兜底，这个设计可以说是相当鸡贼了。11家永久免费的供应商作为最后一层保障，从理论层面上来讲，你永远不会面临完全断流的状况。
这个思路其实并不是OmniRoute独创出来的思路。LiteLLM也具备fallback机制，OpenRouter同样也具备多模型路由。然而OmniRoute把免费额度聚合这件事情打造成了一个核心卖点，这样一来就显得不太一样了。
我去查阅了一番它关于免费额度的计算文档。它宣称每个月聚合了大约16亿的免费Token。这个数字是如何计算得出的呢。它是把40多家供应商的公开免费额度进行了去重计算处理，并不是简单地把每家的速率上限乘以时间。它自己还专门做出过解释，要是把所有速率上限24小时全部拉满来计算，数值能达到100亿，但是那个并不真实，没人能够真的把速率上限给跑满。16亿这个数字，它称之为「诚实数字」。
诚实与否咱们暂且不去讨论，至少在方法论上是保持透明的，有一个专门设立的文档页面来解释计算口径细节。这比起那些张口就宣称「百亿免费Token」的营销宣传话术，显然要靠谱许多。
接下来是另一个让我觉得有意思的地方，也就是压缩功能。
OmniRoute内置了两套压缩算法机制，一套叫作RTK，另一套叫作Caveman，这两个是可以叠加进行运用的。它宣称能够节省15%到95%的Token消耗量，在工具调用密集的场景之下，平均能够省下89%。
89%这个数字我个人是持有怀疑态度的。不过压缩这个方向肯定是没有任何问题的。
要是你用过Claude Code就会察觉到，它每次调用工具的时候，会把上下文里的一大堆信息内容打包发送出去，像git diff输出、文件内容、终端日志这些，Token消耗极其迅速。如果在发送之前，把这些冗余的内容给压缩处理掉，从理论上来说，确实能够大幅度减少消耗量。它的做法是对语义结构进行分析后去掉冗余表达，并且合并重复信息部分，而不是进行简单的截断操作。
借助压缩来节省Token这一举措，其核心意义在于，你的免费额度能够维持更长久的时间。原本16亿的免费Token，要是压缩率达到50%，实际可用的量就直接实现翻倍了。这个杠杆效应是非常巨大的。
说到这里，你可能认为这不就是一个增强版的API代理嘛。
说是这样，但也不全是如此。
我去查阅了一下这个项目的背景资料情况。作者是一位巴西开发者，项目是在2月份创建的，截至目前五个月时间，已经产生了5500多次commit，并且有500多个贡献者。这样的增长速度在开源项目里面可以说是相当猛烈了。
它能登上GitHub Trending并非出于偶然。我查询了一下上榜历史记录，7月份它几乎每一天都在月榜前十五名徘徊，日榜更是攀升到过第三名。掘金上周的GitHub周报还专门把它拎出来讲述了一段，评价它是「本周够务实的项目，不炫技不造概念，就是帮你多快好省地用AI」。
现在市面上的AI网关其实数量颇为不少。LiteLLM是开源的，需要你自己亲自进行部署，管理API key和花费支出，偏向企业级应用，强调的是治理和成本控制。OpenRouter属于托管服务性质，你无需进行部署直接调用API就可以运行，它帮你聚合了几百家供应商，收取5%的加价费用。Portkey偏向可观测性和合规性。Cloudflare AI Gateway虽然提供免费使用，但是你必须得停留在Cloudflare生态里面运行。
OmniRoute的定位跟它们都显得不太一样。它不强调企业治理层面，也不强调可观测性，而是着重强调「零成本起步」和「永不断流」。90多家免费供应商，还有11家永久免费，注册的时候也不用绑定信用卡信息。这个定位精准地切中了一个用户群体，那就是那些想要选用Claude Code、Cursor这些工具，但是不想或者没办法每月花费20到50美元购买订阅服务的个人开发者。
尤其是身处AI服务受限地区的开发者。OmniRoute内置了三级代理机制以及TLS指纹伪装功能，达到了JA3和JA4指纹级别，专门用来应对那些检测自动化请求的网站平台。这个功能的存在本身就已经充分说明，它的用户画像里面有相当一部分是具备翻墙需求的。
我有时候认为，这个项目能够火爆起来，并不完全是因为技术有多么强大。更多的原因是由于它踩中了一种特定情绪。
什么情绪呢。就是对AI API成本感到焦虑不安的情绪。
你设想一下，一个开发者要是正儿八经借助Claude Code开展工作，一个月消耗掉几百美元的API费用是很普遍的现象。OmniRoute给出了一个核心承诺，说你无需花费这笔钱了，我来帮你聚合免费额度，帮你进行Token压缩，还帮你实现自动降级，你只管放心使用就行了。
这个承诺究竟能够兑现多少比例，我觉得还是要打上一个问号的。免费供应商的模型质量和Claude官方的肯定存在一定差距，压缩对输出质量产生的影响程度也需要开展实测验证。不过至少从发展方向上来看，它赋予了开发者一个「我不一定非得给Anthropic或者OpenAI交月费」的选择。
这种选择权的出现局面，本身就已经值得我们去予以关注了。