显卡3070
32G 内存
通过网盘分享的文件：llama-mtp+tbq
链接: https://pan.baidu.com/s/1xrW5iD9W-pbLEEOyqIlSLw 提取码: 7q8v
下面是参数：
/c/soft/llama.cpp-turboq-mtp-master/build_fast/bin/llama-server.exe \
-m /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-GGUF/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Compact.gguf \
--mmproj /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/mmproj.gguf \
-c 131072 \
-np 1 \
-fa on \
--embeddings \
--pooling mean \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--ctx-checkpoints 64 \
--checkpoint-every-n-tokens 2048 \
--cache-prompt \
--cache-reuse 1 \
--no-mmap \
--mlock \
--kv-unified \
--cache-ram 8192 \
--poll 100 \
--no-perf \
--no-cache-idle-slots \
--sleep-idle-seconds -1 \
--keep -1 \
-dev CUDA0 \
--host 0.0.0.0 \
--port 8080 \
-b 2048 \
--ubatch-size 2048 \
--threads 12 \
--threads-batch 6 \
--log-file "llama_server_$(date +%Y%m%d_%H%M%S)-040.log" \
--reasoning on \
--metrics
sleep 10 # 等服务器启动
# 第一段：短请求，触发初始 CUDA Graph 捕获
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen",
"messages": [{"role": "user", "content": "warmup"}],
"max_tokens": 5, "temperature": 0.7
}' > /dev/null
# 第二段：中等长度 prompt（约 2000–2500 tokens），预热常见对话场景
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen",
"messages": [
{"role": "system", "content": "你是一个知识渊博的助手，回答时请保持条理清晰。"},
{"role": "user", "content": "请详细介绍人工智能的发展历程，包括早期符号主义、连接主义、机器学习、深度学习、强化学习等阶段，并说明各阶段的代表性成果和局限性。"}
],
"max_tokens": 300, "temperature": 0.7
}' > /dev/null
echo "Warmup 完成，覆盖短文本与 2k–3k token 常见对话。"
