视频中使用的脚本如下:
chcp 65001 >nul
llama-server.exe ^
-m "..\models\gemma4-12B\gemma-4-12b-it-Q4_K_M.gguf" ^
--mmproj "..\models\gemma4-12B\mmproj-F16.gguf" ^
-ngl 99 ^
--flash-attn on ^
--jinja ^
-c 260000 ^
-t 12 ^
-b 1024 ^
-ub 1024 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--mlock ^
--host 127.0.0.1 ^
--port 8080
pause