关于本地部署 DeepSeek-r1 模型进行定制化训练的问题，想请教一些技术细节。我们公司计划开发一套智能问答系统，主要用于内部业务指南的自动化处理。考虑到数据安全性和定制化需求，我们希望在本地环境部署 DeepSeek-r1 模型。
具体而言，我们有以下疑问：
通过向模型提供高质量的领域特定数据，是否能够有效训练出符合公司业务需求的定制化模型？ 在训练过程中所使用的技术是什么？ 我们计划使用公司积累的高质量业务文档和知识库作为训练数据，期望最终模型能够准确理解和回答与公司业务相关的问题。
感谢各位大佬的宝贵时间和建议！
 |
1
Kite6 Feb 6, 2025 via Android
671b ，成本爆炸
|
 |
2
CodingNameless OP 不会用到 671b ，只是 14b 或者 32b 这种能回答一些基本问题的，然后也能结合我们公司的业务知识
|
|
3
CodingNameless OP @Kite6 #1 不会用到 671b ，只是 14b 或者 32b 这种能回答一些基本问题的，然后也能结合我们公司的业务知识
|
 |
4
qxmqh Feb 6, 2025  1
你去 github 上搜一个叫 LLaMA-Factory 的东西。你会发现有惊喜。
|
 |
5
Mianmiss Feb 6, 2025 1
推荐你用 DIFY 建立公司知识库，微调就算有框架，没点技术 也很难训练成。
|
 |
6
Dw521 Feb 6, 2025
ollama 搜索一下这个也会有惊喜
|
 |
7
visper Feb 6, 2025
直接 ollama 一个命令...
|
 |
8
newaccount Feb 6, 2025
14b 和 32b 就是被 deepseek-r1 提拔了两句的阿里通义千问，它跟 deepseek 的关系就是没啥关系
|
 |
9
heliar Feb 6, 2025
先别一开始就想着训练，用 RAG 试试。训练的话你知识库经常更新成本不低
|
 |
10
JohnYehyo Feb 6, 2025
AI 初阶玩家好奇问一下, 如果微调的是 deepseek 蒸馏过的模型比如 OP 提到的 DeepSeek-R1-Distill-Qwen-14B, 那么
1.会不会让模型反而表现不佳 2. 和我直接微调蒸馏对应的 Base Model(比如 Qwen2.5-14B)区别大吗 |
 |
11
specssss Feb 8, 2025
直接去优云智算，有基于 vLLM 、Ollama 的 R1 蒸馏模型，基于 Unsloth 的动态量化版本，比较全了
https://www.compshare.cn/image-community |
 |
12
tycholiu Feb 10, 2025
可以直接用这家 https://ppinfra.com ，API 服务在国内做得已经很不错了，推荐使用，
|
Select Language