本期视频将完整演示 如何将 Claude Code 接入本地大模型,实现一个对 Claude完全透明的本地推理方案。
本地vllm部署GLM-4.6v-nvfp4的代码仓库:https://github .com/hotwa/vllm-deployments
你将学到:
如何使用 Anthropic Proxy 将 openai API 协议转换为 Claude 兼容接口
如何通过 LiteLLM 实现模型别名、路由与负载均衡
如何让 claude-3-5-sonnet 实际运行在 本地 vLLM / llama.cpp / 其他 OpenAI 兼容后端
如何在 Claude Code / Cursor 中无感使用本地模型(无需改调用方式)
支持 SSE 流式响应、Tool Calling、Function Calling
整个方案适用于:
想在 本地 / 私有服务器 使用 Claude Code 的开发者
想统一管理多模型后端(vLLM、llama.cpp、Ollama 等)
想把「云端 API 体验」平移到「本地大模型」的人
架构关键词:
Anthropic Proxy · LiteLLM · vLLM · OpenAI Compatible API · Claude Code