首页

投稿

GLM-5.3-Flash 本地部署实测，把 320B 旗舰大模型硬塞进 8 张矿卡？

6071

0

2026-08-28 00:13:27

本期视频，我们把智谱刚开源的 320B 多模态旗舰 GLM-5.3-Flash，装进了 8 张「矿卡」——CMP170HX（GA100 / SM80 / 64GB 解锁版）。官方支持清单上只有 H100 / B200 / gfx950，没有 SM80？没关系，我们自己做了一个 829 行 / 22 文件的 vLLM overlay，让它在 Ampere 架构上跑了起来。 ⚡ 实测数据 · 单流解码：26.1 tok/s · 4 路并发聚合：49.9 tok/s（vllm bench 官方口径） · 重负载聚合吞吐：59.8 tok/s（全场最高） · 1M 上下文全量验证通过（长上下文解码反而更快） · 24 小时：从模型发布到稳定对外 API 📎 资源 · 图文详解版（含完整启动参数）：见评论区置顶 / 简介下方 · 模型仓库：zai-org/GLM-5.3-Flash（MIT 协议） 🖥 配置 8×CMP170HX（64GB 解锁版）｜ vLLM + 定制 overlay FP8 306GB → Marlin W8A16 ｜流水线并行 PP8

大模型本地部署

GLM-5.3-Flash本地部署

GLM-5.3-Flash开源

鲲鹏Talk 发消息

连续创业者｜All in AIAI干货教程｜一人公司项目实践｜每日AI事件独行者快，众行者远

PaddleOCR-VL-1.5企业内网部署实战，开源最强OCR，干翻Gemini 3.0 Pro 两步即可上生产环境

13:30

别再交API费了！手把手本地部署最新的ASR以及TTS模型实战：52语种识别+3秒克隆音色

05:07

Mac本地运行Kimi K2.5万亿参数模型！这期视频将带你全程见证这场"不可能

13:56

Mac本地部署 GLM-4.7-Flash ，免费AI开发实战教程

05:44

Mac本地部署MiniMax 2.1，实现本地代码开发，模型自由，对接opencode代码开发

22:03

Kimi Code搭配Kimi K2.5几乎可以平替Claude Code， K2.5开发基金公司门户网站实战演示

10:03

不用花一分钱！Claude Code本地化终极玩法：搭配GLM-4.7 Flash + LM Studio

09:27

JEV 普通笔记本也能免费部署！OmniStudio 本地+云端双通道接入，工单分派/简历评分/意图路由一次讲清，全程免费。

04:27

JEV 模型终于不用排队了！0.4B仅2.37GB，完全兼容官方API/SDK，免费注册直接拿Key：实测接入企业AI决策驾驶舱，30秒完成经营分析

07:32

我自己开源了一个「本地 AI 超级工作台」！OmniStudio 重大更新：本地大模型、Agent、Memory、知识库、Skills、MCP、多模态、OCR、

09:52

自己做的AI工作台，开源了！OmniStudio整合大模型本地部署、ASR/TTS、AI生图与生视频

10:57

Mac本地跑出100+ Token/s！Apodex-1.1-mini实测：3B激活参数，检索效果媲美大模型

08:24

GLM-5.3-Flash 本地部署实测，把 320B 旗舰大模型硬塞进 8 张矿卡？

10:48

4张矿卡本地部署DeepSeek-V4-Flash-0731实测：104万Token跑通、5.7小时压测、日常80Tok/s、对比官方API多久回本？

11:00

Unsloth 推出桌面客户端了！本地运行、微调 AI 模型，还能连接 Codex/Claude Code 的开源 AI 工作台

10:10

两台 DeepSeek Spark 本地跑 DeepSeek-V4-Flash-0731！实机压测到底有多快？本地部署实测来了

08:54

【免费用Qwen3.8-27B】开源AI模型路由器OrcaRouter Lite来了！一个网站直接免费体验Qwen 3.8 27B

07:21

Qwen3.8-27B本地实测：5090跑到157 Token/s！3090也有53 Token/s，Mac约30 Token/s，170HX达43 Token

08:01

Mac竟然能本地跑284B！DeepSeek V4 Flash 0731实测：M3 Ultra 512G，20万上下文还有20 tok/s

10:54

Recursive Flint 实测！40B 参数仅激活 2.5B，Mac 本地跑出 100+ Token/s，长上下文还能高速写代码、生成网页？

06:06

10月29日-Clover-35B-A3B-Preview

05:38

【开源语音部署神器】speech.cpp：语音领域的 Ollama！无需 GPU，CPU / Mac 就能运行 ASR、TTS，支持 OpenAI API，Qw

04:18

顶部