• 投稿

SGLang Cookbook 教程:一键部署模型指南

1405
0
2026-02-18 15:28:08
24
8
54
5
本视频以 Qwen3-30B-A3B 为演示模型,带大家全面了解 SGLang Cookbook 的使用方法。内容涵盖:Cookbook 是什么、如何在任意硬件上启动 SGLang,以及基础用法、推理解析器(reasoning-parser)和工具调用(tool-calling)的代码实战演示。 时间轴 & 内容亮点: 0:00 简介 & 概览:介绍 Cookbook 是什么,以及如何任意硬件上部署 SGLang 的流程。 0:40 SGLang Cookbook:一套"在 Y 硬件上完成 Z 任务"的一键配方,本视频以 Qwen3-30B-A3B MoE 模型为例进行演示。 4:17 Cookbook 实操演示:手把手带你使用 Cookbook 命令启动 SGLang。 8:09 示例脚本代码精讲:深入解析 Cookbook 示例脚本,涵盖基础用法、推理解析器与工具调用三大场景。 📑 Cookbook 链接:https://cookbook.sglang.io/ 🎺 特别鸣谢:本教程由 Yichi Zhang 编写与录制。(LinkedIn:https://www.linkedin.com/in/yichi-zhang2003/) 💬 加入我们的社区:关注我们的小红书,LinkedIn 和 X 账号,获取最新动态。感谢观看! 小红书:https://xhslink.com/m/7TsUxKei9im LinkedIn:https://www.linkedin.com/company/sgl-project/ X:https://x.com/lmsysorg
客服
顶部
赛事库 课堂 2021拜年纪