DeepSeek R1 推理模型性能调优收官之作完全本地部署保姆级教程无惧隐私威胁使用正确的参数让你的R1快上2倍

Name: DeepSeek R1 推理模型 性能调优 收官之作 完全本地部署 保姆级教程 无惧隐私威胁 使用正确的参数 让你的R1快上2倍
Uploaded: 2025-01-30T09:40:38.000Z
Duration: 36 min 40 s
Channel: NathMath

41.8万

823

2025-01-30 17:40:38

未经作者授权，禁止转载

DeepSeek R1 推理模型的蒸馏模型通过LM Studio完全断网地本地部署，并使用Windows防火墙禁用入站出站规则，完全禁用网络，本地运行。使用Huggingface和LM Studio下载更多模型和Q4 Q8量化精度，使用LM Studio进行CPU GPU混合推理，让你的笔记本轻松支持32B 大模型！计算机硬件性能高，但tokens数跑不过up主？嗨，是你的性能没有调优~ 快跟着UP一起做，让你的硬件发挥出它应有的水平！Life 2x ！【新视频来了 - 收官之作：性能调优】原始教程视频: https://www.bilibili.com/video/BV1NGf2YtE8r/ (LM Studio的下载/完全禁用防火墙实现超级隐私) 答疑视频1: https://www.bilibili.com/video/BV1atfQYQE9P/ (一键包的安装和使用/镜像站下载模型/参数调整) 答疑视频2: https://www.bilibili.com/video/BV1H2FWefEVq/ (疑问解答/模型选择/4GB显存实测32B Q4模型数学题) 性能调优(本视频): (QB的权衡取舍/上下文长度/GPU Offload/CPU 线程数/KMM/KV Cache/以及实测正确调优的提升) 全新3.9版本+模型全掌握: https://www.bilibili.com/video/BV1cjNPe7E31/ 【一键包】很多人说国内上不了huggingface，我临时制作了一个一键包。链接如下，使用方法见txt。装好一键包后可以选装其他模型，参考底下的可选装模型链接。此外还需要跟着视频调整防火墙。 √ 我将资源分享成了一个notion共享文档，大家可以在共享文档中找到最新的资源(网盘) √ truthful-busby-322点notion点site斜杠NathMath-LLM-18e45165050a80408586c3f2bf93ce68 √ 请将上述 "点"修改为"."，"斜杠"修改为"/" 后访问 ❓ notion打不开的同学还是可以私信"一键包"获取的~ UP设有自动回复~ 【未来更新路线】 1. 主线 - 模型选择，小说/翻译/数学/代码/科研/整活？每一个方向都有合适的模型，我来帮大家遴选 2. 主线 - 模型选择，AI是生产力是创造力，哪些“三无模型”能满足大家整花活呢 3. 主线 - 模型应用，基于文本输入的推理时输出调节(更改文风)，基于本地源码的库编写，等等 4. 专业 - 模型调优，基于OpenWebUI和llama.cpp进行对私有数据的微调/RL重训练 5. 专业 - API部署，使用专业软件让本地模型提供API供程序调用，实现办公自动化 6. followup - 开源模型的突破还会更新的~ 【模型选择】没有GPU：1.5B Q8推理或者 8B Q4推理 4G GPU：8B Q4推理 8G GPU：32B Q4推理或者 8B Q4推理 16G GPU：32B Q4推理或者 32B Q8推理 24G GPU: 32B Q8推理或者 70B Q2推理 Qwen底模除了1.5B其他不建议，真的太辣跨；Llama底模推荐。【可供大家测试的数学题】 1117117是否是素数？（是） 2024^2025和2025^2024哪个大？（前者） sin(x) + xcos(x)在(-pi, pi)中有几个零点？（三个）请手动计算并给出前5个梅森素数（自己WIKI）定义W(t)是标准布朗运动，求f(x)使得W(t)^2 + f(t)是一个鞅。(f(t) = -t) 【收官并不是结束，而是新的开始】感谢大家的支持。DeepSeek R1模型本身到此结束。但是我们的LLM本地部署系列才刚刚开始。大家学会了本地部署模型，那么，对某一特定任务(例如编程/小说)，选择什么样的模型好？无限模型？选对了模型，我们应当怎么使用呢？Prompt工程之后敬上~ 让你的AI听你的话，干你的活。干活当然是处理PDF, TXT, 没错，怎么让AI服服帖帖帮你“读书”？当然是推理时指引不满足窗口调用，想用API？我们可以调取API将大语言模型与其他AI结合在一起，例如创建文本生成-TTS工作流，让AI用甜美的声音说出来不满足于公有模型？可以用大家或者公司私有的数据进行微调，让你的AI长久地熟悉你所在的领域。 ... 保姆级教程。旅程刚刚开始，祝大家AI旅程愉快。