需要几百万元部署的满血DeepSeek-671b不到1.5k元就能安装部署,太魔幻了。
model端设置
FROM deepseek-r1:671b
PARAMETER num_gpu 0
PARAMETER num_ctx 8192
PARAMETER num_predict 4096
server端设置
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=24h"
Environment="OLLAMA_MODELS=/media/c01/Ext4/ollama/.ollama/models"
Environment="OLLAMA_NUM_PARALLEL=1"
#Environment="OLLAMA_LOAD_TIMEOUT=37m"