DeepSeek R1 本地部署的模型也能联网搜索了关于UP将要为一键包提供新的前端和联网功能的预告大语言模型开源开发的推理前端(雏形)

Name: DeepSeek R1 本地部署的模型 也能联网搜索了 关于UP将要为 一键包 提供新的前端和联网功能的预告 大语言模型 开源开发的推理前端(雏形)
Uploaded: 2025-02-01T06:46:55.000Z
Duration: 2 min 25 s
Channel: NathMath

19.1万

188

2025-02-01 14:46:55

未经作者授权，禁止转载

【这是一个预告】这可能是全网第一个开源免费的由B站UP主开发的有趣功能？当你本地部署的模型可以通过可信的中间环境(Python，可信是因为全开源)进行网站访问，网络搜索，网上在线文件爬取，一键知识库等等等等~ 你还会用LM Studio或者WEBUI了吗？ ——敬请期待—— 【UP的保姆及部署视频】原始教程视频: https://www.bilibili.com/video/BV1NGf2YtE8r/ (LM Studio的下载/完全禁用防火墙实现超级隐私) 答疑视频1: https://www.bilibili.com/video/BV1atfQYQE9P/ (一键包的安装和使用/镜像站下载模型/参数调整) 答疑视频2: https://www.bilibili.com/video/BV1H2FWefEVq/ (疑问解答/模型选择/4GB显存实测32B Q4模型数学题) 性能调优(本视频):https://www.bilibili.com/video/BV1qoFGepEhL/ (QB的权衡取舍/上下文长度/GPU Offload/CPU 线程数/KMM/KV Cache/以及实测正确调优的提升) 全新3.9版本+模型全掌握: https://www.bilibili.com/video/BV1cjNPe7E31/ 【一键包】很多人说国内上不了huggingface，我临时制作了一个一键包。链接如下，使用方法见txt。装好一键包后可以选装其他模型，参考底下的可选装模型链接。此外还需要跟着视频调整防火墙。 √ 我将资源分享成了一个notion共享文档，大家可以在共享文档中找到最新的资源(网盘) √ truthful-busby-322点notion点site斜杠NathMath-LLM-18e45165050a80408586c3f2bf93ce68 √ 请将上述 "点"修改为"."，"斜杠"修改为"/" 后访问 ❓ notion打不开的同学还是可以私信"一键包"获取的~ UP设有自动回复~ 【未来更新路线】 1. 主线 - 模型选择，小说/翻译/数学/代码/科研/整活？每一个方向都有合适的模型，我来帮大家遴选 2. 主线 - 模型选择，AI是生产力是创造力，哪些“三无模型”能满足大家整花活呢 3. 主线 - 模型应用，基于文本输入的推理时输出调节(更改文风)，基于本地源码的库编写，等等 4. 专业 - 模型调优，基于OpenWebUI和llama.cpp进行对私有数据的微调/RL重训练 5. 专业 - API部署，使用专业软件让本地模型提供API供程序调用，实现办公自动化 6. followup - 开源模型的突破还会更新的~ 【模型选择】没有GPU：1.5B Q8推理或者 8B Q4推理 4G GPU：8B Q4推理 8G GPU：32B Q4推理或者 8B Q4推理 16G GPU：32B Q4推理或者 32B Q8推理 24G GPU: 32B Q8推理或者 70B Q2推理 Qwen底模除了1.5B其他不建议，真的太辣跨；Llama底模推荐。【可供大家测试的数学题】 1117117是否是素数？（是） 2024^2025和2025^2024哪个大？（前者） sin(x) + xcos(x)在(-pi, pi)中有几个零点？（三个）请手动计算并给出前5个梅森素数（自己WIKI）定义W(t)是标准布朗运动，求f(x)使得W(t)^2 + f(t)是一个鞅。(f(t) = -t) 【收官并不是结束，而是新的开始】感谢大家的支持。DeepSeek R1模型本身到此结束。但是我们的LLM本地部署系列才刚刚开始。大家学会了本地部署模型，那么，对某一特定任务(例如编程/小说)，选择什么样的模型好？无限模型？选对了模型，我们应当怎么使用呢？Prompt工程之后敬上~ 让你的AI听你的话，干你的活。干活当然是处理PDF, TXT, 没错，怎么让AI服服帖帖帮你“读书”？当然是推理时指引不满足窗口调用，想用API？我们可以调取API将大语言模型与其他AI结合在一起，例如创建文本生成-TTS工作流，让AI用甜美的声音说出来不满足于公有模型？可以用大家或者公司私有的数据进行微调，让你的AI长久地熟悉你所在的领域。 ... 保姆级教程。旅程刚刚开始，祝大家AI旅程愉快。