Claude Code / Cursor / 自己的 AI 应用遇到 429、504、timeout、上游模型波动时,不应该只能等服务恢复。这个视频演示我做的 AI Model Gateway:在本地或服务器前面加一层网关,让请求可以监控、重试、Fallback,并按真实 Benchmark 决定该切哪个模型。
它主要解决这些问题:
1. 上游 LLM 不稳定,业务请求直接失败
2. 多个模型和供应商混用,状态、延迟、错误率不清楚
3. 想把 Claude 类请求桥接到 DeepSeek / 其他 OpenAI 兼容模型
4. 更新、回滚、预检、审计没有统一入口
视频里包含 GitHub 安装流程、Admin UI 实操、Benchmark、Monitoring、Ops、更新验证。适合做 AI 应用、用 Claude Code/Cursor、或者需要自托管大模型网关的人。
项目地址:https://github.com/SSC-STUDIO/Ai-Model-Gateway
Release:https://github.com/SSC-STUDIO/Ai-Model-Gateway/releases/tag/v1.4.4
如果你也遇到上游不稳定、限流、慢响应,可以试一下,欢迎提 issue 或 star 支持。
本视频使用 AI 语音生成。