Strata v0.2.2 带来发布以来最大的一次更新:官方 Docker 镜像正式上线,老 GPU 开箱即用。完整记录从零拉镜像到跑通 125B 的全过程。
硬件档案:零刻 ME Pro(i5-13500H · 32GB · fnOS 1.2.0505),GPU 是 2016 年的 Tesla P100 16GB。
镜像拉取实录:ghcr.io/niko1221/strata:0.2.2-cuda12 仅 3.1–4 GB,7 项启动检查全绿。
模型驻留:125B Qwen3.8-Flash-Next-Gyro-S-TQ1_0 模型(模型权重 58.5GB) 驻留 显存+内存 27.6GB,512 experts、1.89 bit/param,VRAM 占用 95.4%。
GPU 实况:NVIDIA-SMI 显存 16039MiB,待机功耗仅 42–45W。
诚实数据:解码 35.8 t/s、预填 260 t/s——老卡跑 125B,够用且数据不出门。
老卡别扔,它能帮你把大模型跑在家里。需要Docker compose文件评论区留言
Strata · Docker · Tesla P100 · 本地大模型 · fnOS · NAS · 零刻MEPro