构件
Lurus Hub
成熟度:内部生产使用部署在你自己环境里的多租户 LLM 网关:多家上游模型服务走同一个入口,用量按租户记账,调用日志默认开启。
基于开源 New API(源自 One API),AGPLv3。
它做什么
一个入口,看得见每一次调用。
应用只对接一套接口,背后接哪几家上游、怎么分配,由网关决定。 谁调了什么、用了多少、结果如何,都留在你自己的数据库里。
细节
三件事,按需展开。
接入与路由:应用只认一套接口。
对话、嵌入、图像、音频、重排序等调用走统一的接口,网关在几种不同的上游接口形态之间转换请求与响应格式。
选哪条上游通道,按权重加健康评分决定;评分随时间衰减,旧的观测不会一直左右今天的选择。
租户与计量:用量按租户、模型、通道分开记。
多租户接口以租户标识划分边界,按角色分级授权; 另保留一套单租户兼容接口,给已有的集成用。
用量按「租户 × 模型 × 通道」在时间窗内汇总请求数、错误数与用量,独立于转发路径本身。
登录默认用网关自带的会话;也可以接入任何符合标准的 OIDC 身份源(默认关闭,按部署开启)。
日志与留痕:调用可查,管理操作可校验。
调用日志按租户隔离,可以按条件筛选、汇总、导出。全文检索是可选组件,默认关闭。
管理类写操作进入审计记录,按租户串成哈希链。校验时逐行重算哈希、核对前后链接: 内容被改过,会被指出来;链上少了一行,也会被指出来,但要先对照保留期清理日志, 才能判断是不是篡改。
审计链 · 内容— 一致逐行重算哈希,与写入时一致
审计链 · 链接— 断点前后链接中断 —— 可能是保留期清理,需对照清理日志,不直接判为篡改
运行指标以 Prometheus 文本格式暴露;链路追踪可经 OTLP 导出,默认关闭。
许可与来源
基于开源 New API,AGPLv3。
Lurus Hub 不是从零写起的。它是开源项目 New API 的定制衍生版本,New API 本身源自 One API(MIT)。我们在转发层之上加了通道评分、用量汇总、多租户与审计。
许可沿用上游:默认 AGPLv3。按 AGPLv3,修改后的版本通过网络提供服务或对外分发时, 须向用户提供相应的完整源代码。在只用开源许可的情况下,上游的品牌标识与版权声明须完整保留。
具体条款以仓库中的 LICENSE 与 NOTICE 为准。
边界与现状
它现在在哪儿,不做什么。
- 现状:作为我们自己产品背后的网关,在我们的准生产环境运行。
- OIDC 登录、全文日志检索、链路追踪、外部账务对接,默认都是关闭的。 在你的部署里开启并验证之前,请把它们当作「可用但未开」,不是「已交付」。
- 接口文档与路由的一致性有自动检查;但检查不发真实请求,文档里的请求体、响应体和状态码仍可能有出入。
- 不转售上游模型服务,也不做机房与算力转售。
- 不对延迟、可用率或成本给出承诺数字。
想了解它放进你的环境会是什么样,写信到 contact@lurus.cn;或先读 方法。