• 投稿

国产适配ollama 华为升腾910b*8运行deepseek-r1 671b

5.7万
1
2025-02-02 11:17:49
520
92
536
190
国产适配ollama 华为升腾运行deepseek-r 671b 环境openouer,国产系统 NPU 华为升腾910b3,无sudo root权限编译。 6:30 编译开始速度很慢可以跳过,35:13 编译完成,可以看后续。 最终报错原因, 这个报错估计是数值类型的问题,由于仓库构建时候用的Atlas_A2_series,这里910B3可能与Atlas_A2_series不一样。加载都是没有问题,推理时候估计也不能全部利用NPU,可能有些算子没有实现。核心在于 Range 操作中的输出大小(outSize)不一致,可能是由于在框架和分块计算中使用了不同的浮点精度(double 和 float)。 如果帮助,请一键三连,不胜感激。
客服
顶部
赛事库 课堂 2021拜年纪