首页

投稿

500元token自由，64G ddr3内存，洋垃圾E5 本地部署125B本地agent 128K上下文 Strata接入DSH

3.1万

10

2026-10-27 12:59:54

含AI生成内容

未经作者授权，禁止转载

500元64G ddr3内存洋垃圾E5 本地部署 125B本地agent 128K上下文 Strata接入DSH 速度35 token/s

deepseek harness

Qwen3.8-Flash-Next

赛博画师GZT 发消息

AI炼丹，AI全栈。

Qwen3.5能当生产力工具吗？本地部署27B和35B-A3B超低精度Q2_K量化，反推提示词测试。

10:33

24.8 token每秒，3060级别12G显卡跑Qwen3.5-35B-A3B, Q4_K_M量化GGUF版，禁用思考模式，编译llama.cpp后4倍提速。

11:30

12G显存30token每秒，编译llama.cpp跑Qwen3.5-35B-A3B-UD-IQ2_M量化的详细方法。

14:30

仅483MB，千问Qwen3.5的0.8B小模型真的有用吗？

05:57

llama.cpp本地部署Qwen3.6-35B-A3B，12G显存20token（词元）每秒。

03:32

Qwen3.8-27B劝退，对普通用户没意义。

07:05

Qwen3.8 27B 新量化，12G低显存可用，Bonsai 2 27B，端到端三值语言权重。

03:51

大模型省显存新技术，本地编译版Strata 适配魔改卡跑 Qwen3.8-Flash-Next-GSQ-RCO-Coder，吃满内存和cpu。

05:18

500元token自由，64G ddr3内存，洋垃圾E5 本地部署125B本地agent 128K上下文 Strata接入DSH

01:11

Strata+DSH双重优化，agent任务越跑越快，让热门专家尽可能留在显存，37token/s一路爬坡到55token/s

01:02

strata引擎升级, AI性能大提升，峰值74token/s，平均61token/s。

00:51

deepseek-harness 精确压缩上下文插件？

01:30

顶部