• 投稿

部署实战:二手Tesla P100+零刻小主机,本地跑125B大模型,自编译sm_60镜像,38tok/s思考,数据不出门

1222
0
2026-10-07 13:25:27
含AI生成内容
12
4
22
1
一台零刻 ME Pro(i5-13500H / 32GB)+ 开源宇宙 M70T 显卡坞 + 二手 Tesla P100 16GB(2016,sm_60),在 fnOS 1.2.0505 上本地部署 Qwen3.8-Flash-Next 125B(IQ1_M GGUF)。 本片记录: 第一道坎:CUDA 13 删除了 Pascal 架构支持,自编译 sm_60 镜像(4182 个 kernel) 实测:思考 38 tok/s,预填充 158 tok/s,解码 21 tok/s 显存 15.6/16 GB,GPU 待机功耗 33W,数据完全不出门 完整部署命令、Compose 文件与踩坑清单见置顶评论。
客服
顶部
赛事库 课堂 2021拜年纪