这次测试使用 AMD Ryzen AI Max+ 395 128GB 作为测试平台,软件统一使用 Herdsman 牧马人本地推理引擎,分别对比搭载 AI SSD 与普通 SSD 的设备,在相同模型、相同量化版本以及一致测试条件下的实际表现。
本次测试的模型分别为 Qwen3-235B-A22B 和 Qwen3.6-35B-A3B,均采用 Q4_K_M 量化。
使用 Qwen3.6-35B-A3B 进行相同任务的推理测试,普通 SSD 用时 130秒,AI SSD 仅用 2秒,推理时间减少65倍。
这次测试主要想看看,当本地模型规模不断增大之后,SSD在模型数据承载、缓存与推理过程中的作用到底有多大,以及 AI SSD 与普通 SSD 在实际本地推理场景中的差异。
最近 AI SSD 获得了大家的广泛关注,所以这次除了测试之外,也会结合测试结果,进一步聊聊 AI SSD 到底解决了什么问题,以及它为什么会影响大模型的本地运行体验。