Tesla T10 三卡大模型运行测试

Name: Tesla T10 三卡 大模型运行测试
Uploaded: 2025-02-16T16:21:22.000Z
Duration: 1 min 40 s
Channel: Cypid

1.3万

2025-02-17 00:21:22

未经作者授权，禁止转载

上一集：BV1apNnejEbt 主板：华硕 X99-WS/IPMI； CPU：至强 E5-2686V4；内存：三星四通道 D4-2133 64GB；显卡：英伟达 Tesla T10 16GB *3；电源：长城 1000W；主硬盘：西数 AN1500 1T。内容如下： 00:05 机器情况； 00:11 DeepSeekR1-70b，TPS：3.43，大小：49 GB，占用：4% CPU + 96% GPU； 00:43 Llama3.3-70b，TPS：3.65，大小：49 GB，占用：3% CPU + 97% GPU； 00:58 Qwen2.5-72b-q3，TPS：6.11，大小：46 GB，占用：100% GPU； 01:07 DeepSeekR1-32b，TPS：7.86，大小：26 GB，占用：100% GPU； 01:19 Qwen2.5-32b，TPS：8.14，大小：26 GB，占用：100% GPU； 01:23 Phi4-14b-fp16，TPS：7.80，大小：36 GB，占用：100% GPU； 01:33 Phi4-14b，TPS：12.63，大小：16 GB，占用：100% GPU； 01:37 Llama3.2-3b，TPS：27.20，大小：6.5 GB，占用：100% GPU。