本视频带你180秒快速了解什么是 SGLang、为什么推理引擎如此重要,以及 RadixAttention 等技术如何让大模型推理更快、更高效!
0:00 什么是 SGLang?
0:18 什么是推理引擎?
1:15 RadixAttention
2:05 不只是缓存
2:34 如何上手
📑 Cookbook: https://cookbook.sglang.io/
⭐ GitHub: https://github.com/sgl-project/sglang
Cr:本视频由社区成员 Yichi Zhang 撰稿、制作并配音。
(小红书 ID:2719538670 / LinkedIn: /yichi-zhang2003)
各位看完视频的小伙伴,欢迎大家点赞+收藏+关注!也欢迎在评论区留下您的心得,我们下期见!