比 llama.cpp 快近两倍？FreeToken 本地大模型推理实测

Name: 比 llama.cpp 快近两倍？FreeToken 本地大模型推理实测
Uploaded: 2026-09-09T02:14:13.000Z
Duration: 6 min 32 s
Channel: AI_打工人

1.5万

2026-09-09 10:14:13

这期视频介绍开源大模型推理引擎 FreeToken。它通过动态调度 CPU、系统内存、PCIe 和 GPU，让不同专家层选择更合适的计算位置，从而减少权重搬运带来的等待，并充分利用 GPU 中已经缓存的专家。视频将带你了解： - FreeToken 的 CPU/GPU 混合推理原理 - Prefill 阶段的权重预取与 Checkpoint 复用 - Decoder 阶段的专家缓存和动态调度 - FreeToken 与 llama.cpp 的实际性能对比

freeToken

推理引擎

AI_打工人发消息

算法的舞者，数据的诗人

顶部