小模型评测：9 款 4B 以下开源模型本地实测，中文写作 / 代码 / 推理全跑一遍

Name: 小模型评测：9 款 4B 以下开源模型本地实测，中文写作 / 代码 / 推理全跑一遍
Uploaded: 2026-10-07T16:12:10.000Z
Duration: 4 min 52 s
Channel: 小施院长

1.3万

2026-10-08 00:12:10

含AI生成内容

未经作者授权，禁止转载

【一句话】9 款 4B 以下的小模型，装进同一台笔记本，用同一份脚本真跑四组题 —— 跑完之后，有几件事和参数表上讲的对不上。【三个反直觉的地方】① 体积最小的那款只有 0.34 GB，却排在第 5 名，把比它大 5.3 倍的对手甩在后面；② 三道小学应用题，9 款里有 3 款全错，而中文写作没有一款低于 70 分 —— 短板并不在同一个地方；③ 综合分前三名只差 10.0 分，谁排前面，取决于你把哪一项当回事。完整榜单、每一款的原始输出与逐项得分，都在视频里。【评测对象】Google、阿里巴巴、Mistral AI、面壁智能、Liquid AI、Hugging Face、Meta 共 9 款，参数量 0.75B ~ 5.12B；4bit 量化权重体积 0.34 GB ~ 3.55 GB，9 款合计 16.2 GB。其中 4 款来自国产厂商。全部满足「4bit 量化后能在普通笔记本上跑」。【怎么看这个榜】主榜按四组题的实测综合分排序，四组各 100 分。五维雷达里除四项实测外还有一项「部署友好度」（0.5×体积 + 0.3×许可宽松度 + 0.2×上下文），所以榜单看的不只是「谁聪明」，还有「谁好装」。排名只看综合分；体积、上下文、许可、吞吐作为旁轴同时给出 —— 选型要看取舍。【实测怎么做】四组题各 100 分。结构化抽取比对 JSON 能否解析、字段与取值是否正确；应用题按题号切段后比对最终数值；中文写作按字数、是否写出具体价格、是否写出具体声音、是否撞禁用词四条硬规则打分，文本指标由脚本真算；网页生成把模型产出的 HTML 存下来，用无头浏览器真点一遍 —— 点开始看时钟走不走、点暂停看是否静止、按空格看是否生效、点重置看是否回到 25:00、统计圆环实现与运行时报错。推理用 Apple MLX 在本机跑 4bit 权重，greedy 解码（temperature=0），同一台机器重跑结果一致。【时间轴】00:00 片头 / 00:11 全部参评对象总览 / 00:34 逐款拆解 / 01:41 四组实测 / 04:13 三条结论 / 04:37 数据怎么更新与方法卡。全长 4:51。【数据来源】权重、参数量、许可证、上下文窗口、下载量与发布日期来自 HuggingFace 官方 API（经 hf-mirror 镜像）与 ModelScope 开放 API，取数日 2026-10-07；实测数据是本机跑出来的原始输出与判分结果，脚本可复现。【说明与免责】① 四组题只覆盖指令遵循、算术、中文写作、单文件前端四类，不能代表模型整体能力，也不是任何官方榜单；② 只测 4bit 量化权重，未测 fp16，量化损失因模型而异；③ 吞吐是本机单次实测，受机器负载影响，不是模型固有速度；④ 判分脚本按公开的固定规则折算，「写得好不好」这一层没有被评；⑤ 本片不含任何厂商 logo 与角色立绘，画面中的徽章为程序化生成的文字标识，不代表厂商官方视觉；⑥ 权重与元数据版权归各模型出品方，本片仅作技术评测与学习用途，不做商业分发。【关键词】小模型 / 端侧模型 / 本地部署 / 大模型评测 / 开源模型 / 4B 模型 / Qwen3 / MiniCPM / Gemma / Llama / 中文能力 / 代码生成 / MLX / Apple Silicon / 量化 / 横评 / 跑分 / AI

這個人很神秘，什麼都沒有寫。

顶部