DeepSeek R1 推理模型一键包完全本地部署保姆级教程断网运行无惧隐私威胁大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署

Name: DeepSeek R1 推理模型 一键包 完全本地部署 保姆级教程 断网运行 无惧隐私威胁 大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署
Uploaded: 2025-01-27T18:59:43.000Z
Duration: 38 min 42 s
Channel: NathMath

151.6万

1981

2025-01-28 02:59:43

未经作者授权，禁止转载

DeepSeek R1 推理模型的蒸馏模型通过LM Studio完全断网地本地部署，并使用Windows防火墙禁用入站出站规则，完全禁用网络，本地运行。使用Huggingface和LM Studio下载更多模型和Q4 Q8量化精度，使用LM Studio进行CPU GPU混合推理，让你的笔记本轻松支持32B 大模型！使用我的一键包，跟着我的教程做，再对模型推理调参提高性能，帮助你探索、科研、探索二次元~ 【本答疑视频】这是一个更新的视频，里面详细讲解了一键包的使用，并解决了昨天以来网友提出的绝大多数问题。原始教程视频: https://www.bilibili.com/video/BV1NGf2YtE8r/ (LM Studio的下载/完全禁用防火墙实现超级隐私) 答疑视频1: https://www.bilibili.com/video/BV1atfQYQE9P/ (一键包的安装和使用/镜像站下载模型/参数调整) 答疑视频2: https://www.bilibili.com/video/BV1H2FWefEVq/ (疑问解答/模型选择/4GB显存实测32B Q4模型数学题) 性能调优: https://www.bilibili.com/video/BV1qoFGepEhL/ (QB的权衡取舍/上下文长度/GPU Offload/CPU 线程数/KMM/KV Cache/以及实测正确调优的提升) 全新3.9版本+模型全掌握: https://www.bilibili.com/video/BV1cjNPe7E31/ 【一键包】很多人说国内上不了huggingface，我临时制作了一个一键包。链接如下，使用方法见txt。装好一键包后可以选装其他模型，参考底下的可选装模型链接。此外还需要跟着视频调整防火墙。 √ 我将资源分享成了一个notion共享文档，大家可以在共享文档中找到最新的资源(网盘) √ truthful-busby-322点notion点site斜杠NathMath-LLM-18e45165050a80408586c3f2bf93ce68 √ 请将上述 "点"修改为"."，"斜杠"修改为"/" 后访问虽然不用私信回复了但还是求个关注 ❓ notion打不开的同学还是可以私信"一键包"获取的~ UP设有自动回复~ 【新的开始】如果按照昨天的视频没有成功安装的朋友可以参考我的一键包和这个答疑视频！对于许多朋友说的“无婶”模型，本人正在努力寻找，找到以后必来介绍给大家！【重要问题】使用Huggingface可能需要梯|子如果没有的话可能需要大家手动从镜像站下载模型，然后复制到LM Studio的模型文件夹里，支持任何模型包括并不限于DeepSeek的模型，链接地址可以查找hf-mirror百度搜索即可【后续】我这两天还会根据我这边朋友的反馈和B站网友的反馈更新新的视频，如果有无法安装的朋友首先请尝试一键包，此外可以等待我之后的视频。【模型选择】没有GPU：1.5B Q8推理或者 8B Q4推理 4G GPU：8B Q4推理 8G GPU：32B Q4推理或者 8B Q4推理 16G GPU：32B Q4推理或者 32B Q8推理 24G GPU: 32B Q8推理或者 70B Q2推理 Qwen底模除了1.5B其他不建议，真的太辣跨；Llama底模推荐。【可供大家测试的数学题】 1117117是否是素数？（是） 2024^2025和2025^2024哪个大？（前者） sin(x) + xcos(x)在(-pi, pi)中有几个零点？（三个）请手动计算并给出前5个梅森素数（自己WIKI）定义W(t)是标准布朗运动，求f(x)使得W(t)^2 + f(t)是一个鞅。(f(t) = -t) 保姆级教程。祝大家AI旅程愉快。