国产适配ollama 华为升腾运行deepseek-r 671b
环境openouer,国产系统
NPU 华为升腾910b3,无sudo root权限编译。
6:30 编译开始速度很慢可以跳过,35:13 编译完成,可以看后续。
最终报错原因,
这个报错估计是数值类型的问题,由于仓库构建时候用的Atlas_A2_series,这里910B3可能与Atlas_A2_series不一样。加载都是没有问题,推理时候估计也不能全部利用NPU,可能有些算子没有实现。核心在于 Range 操作中的输出大小(outSize)不一致,可能是由于在框架和分块计算中使用了不同的浮点精度(double 和 float)。
如果帮助,请一键三连,不胜感激。