以下是我用龙虾的启动参数：
主要改了这两个：处理提示词速度能到1132tokens/s
-b 2816 \
--ubatch-size 2816 \
prompt eval time = 14745.21 ms / 19698 tokens ( 0.75 ms per token, 1335.89 tokens per second)
生成tokens速度也能到42.
智能体：龙虾场景使用千万别用tbq。会把提示词处理速度降到700~800,我们都知道调用API主要消耗的是输入的tokens（90%），输出的少（10%）。所以千万不要降低提示词速度
/c/soft/llama.cpp-turboq-mtp-master/build_fast/bin/llama-server.exe \
-m /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-GGUF/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Compact.gguf \
--mmproj /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/mmproj.gguf \
-c 131072 \
-np 1 \
-fa on \
--embeddings \
--pooling mean \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--ctx-checkpoints 64 \
--checkpoint-every-n-tokens 2048 \
--cache-prompt \
--cache-reuse 1 \
--no-mmap \
--mlock \
--kv-unified \
--cache-ram 8192 \
--poll 10 \
--no-perf \
--no-cache-idle-slots \
--sleep-idle-seconds -1 \
--keep -1 \
-dev CUDA0 \
--host 0.0.0.0 \
--port 8080 \
-b 2816 \
--ubatch-size 2816 \
--threads 12 \
--threads-batch 6 \
--log-file "llama_server_$(date +%Y%m%d_%H%M%S)-045.log" \
--reasoning off \
--metrics
