8G显存·42t/s·Qwen3.6-35B | OpenCLaw 调用场景-视频过时了，去看最新的。

Name: 8G显存·42t/s·Qwen3.6-35B | OpenCLaw 调用场景-视频过时了，去看最新的。
Uploaded: 2026-05-17T06:52:30.000Z
Duration: 6 min 24 s
Channel: 国际米兰肠胃
Description: 去看最新的视频，这个过时了。 内存32G 显存8G llamaserver 通过网盘分享的文件：llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7.zip 链接: https://pan.baidu.com/s/1PeS9Mg_eFsdUqJruKt9rZw 提取码: q92g 以下为启动参数： /c/soft/llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7/llama-server.exe \ -m /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-

5596

2026-05-17 14:52:30

含AI生成内容

去看最新的视频，这个过时了。内存32G 显存8G llamaserver 通过网盘分享的文件：llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7.zip 链接: https://pan.baidu.com/s/1PeS9Mg_eFsdUqJruKt9rZw 提取码: q92g 以下为启动参数： /c/soft/llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7/llama-server.exe \ -m /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Compact.gguf \ --mmproj /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/mmproj.gguf \ -c 131072 \ -np 1 \ -fa on \ --embeddings \ --pooling mean \ --cache-type-k q8_0 \ --cache-type-v q8_0 \ --ctx-checkpoints 64 \ --checkpoint-every-n-tokens 2048 \ --cache-prompt \ --cache-reuse 1 \ --no-mmap \ --mlock \ --kv-unified \ --cache-ram 8192 \ --poll 100 \ --no-perf \ --no-cache-idle-slots \ --sleep-idle-seconds -1 \ --keep -1 \ -dev CUDA0 \ --host 0.0.0.0 \ --port 8080 \ -b 2048 \ --ubatch-size 2048 \ --threads 8 \ --threads-batch 12 \ --log-file "llama_server_$(date +%Y%m%d_%H%M%S)-035.log" \ --reasoning on \ --metrics sleep 10 # 等服务器启动 # 第一段：短请求，触发初始 CUDA Graph 捕获 curl -s http://127.0.0.1:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen", "messages": [{"role": "user", "content": "warmup"}], "max_tokens": 5, "temperature": 0.7 }' > /dev/null # 第二段：中等长度 prompt（约 2000–2500 tokens），预热常见对话场景 curl -s http://127.0.0.1:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen", "messages": [ {"role": "system", "content": "你是一个知识渊博的助手，回答时请保持条理清晰。"}, {"role": "user", "content": "请详细介绍人工智能的发展历程，包括早期符号主义、连接主义、机器学习、深度学习、强化学习等阶段，并说明各阶段的代表性成果和局限性。"} ], "max_tokens": 300, "temperature": 0.7 }' > /dev/null echo "Warmup 完成，覆盖短文本与 2k–3k token 常见对话。"

顶部