环境：
Ubuntu24.04
docker rocm/vllm:latest
运行参数
HF_ENDPOINT=https://hf-mirror.com python3 -m vllm.entrypoints.openai.api_server
--served-model-name autoglm-phone-9b
--allowed-local-media-path /
--mm-encoder-tp-mode data
--mm_processor_cache_type shm
--mm_processor_kwargs "{"max_pixels":5000000}"
--max-model-len 25480
--chat-template-content-format string
--limit-mm-per-prompt "{"image":10}"
--model zai-org/AutoGLM-Phone-9B
--port 8000
--host 0.0.0.0
