关闭思考:
--chat-template-kwargs '{\"enable_thinking\":false}'
Qwen3.6-35B-A3B原版地址:
https://modelscope.cn/models/Qwen/Qwen3.6-35B-A3B
Qwen3.6-35B-A3B GGUF版地址:
https://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/files
编译llama.cpp简单代码
安装Visual Studio 2022,C++桌面开发负载。
安装CMake
安装CUDA
安装CudNN
安装git
在Windows开始菜单中搜索 x64 Native Tools Command Prompt for VS 2022
右键点击它,选择“以管理员身份运行”。
cd 导航到英文源码目录
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git pull
git submodule update --init --recursive
mkdir build
cd build
cmake .. -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="86" -DCMAKE_BUILD_TYPE=Release -DGGML_NATIVE=ON
cmake --build . --config Release -j 4
运行命令示例:
.\llama-server.exe --model "C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-Q4_K_XL\Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf" --mmproj "C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-Q4_K_XL\mmproj-F16.gguf" --chat-template-kwargs '{\"enable_thinking\":false}'