intel核显部署deepseek 32b 70b 14b实测，纯核显推理cpu下班

Name: intel核显部署deepseek 32b 70b 14b实测，纯核显推理cpu下班
Uploaded: 2025-02-05T12:28:28.000Z
Duration: 6 min
Channel: 英明
Description: intel核显运行deepseek需魔改ollama，教程https://qiita.com/Koji_Hataya/items/c3f473d8dd49bacd4a44 实测32b一秒3点几tokens，70b速度减半，14b速度翻倍，相比cpu推理快多了，主要瓶颈在ddr5内存上 最后，有人能告诉我ultra系列处理器的npu是做什么的吗？

6.2万

2025-02-05 20:28:28

未经作者授权，禁止转载

intel核显运行deepseek需魔改ollama，教程https://qiita.com/Koji_Hataya/items/c3f473d8dd49bacd4a44 实测32b一秒3点几tokens，70b速度减半，14b速度翻倍，相比cpu推理快多了，主要瓶颈在ddr5内存上最后，有人能告诉我ultra系列处理器的npu是做什么的吗？

顶部