• 投稿

Tesla-P100双卡运行QWQ-32B模型速度实测

5355
0
2025-03-26 18:41:14
33
6
39
9
用PCIE+SXM2版本的双卡Tesla P100运行了QWQ-32B模型的Q4量化版本,实测速度能接近10tokens/s,算是基本达到了可用水平。实测上下文最高可以开到32K左右,再高就不能正常对话了。另外Q5的版本也是可以加载的,上下文拉到8192没有问题,而且实测代码能力明显强于Q4。P100的温度比M40好压很多,风扇转速拉一半,跑模型基本不超过60度,M40的话得奔着80度去了。。
要做的事,还有很多
接下来播放
自动连播
客服
顶部
赛事库 课堂 2021拜年纪