因为领导层反复强调和要求推进 AI 相关的工作，近期也试了不少方案。 目前是做了两个实验性的 Agent：
1 、各种技术资料的检索 Agent ，效果一般般，但勉强能用。
2 、对某个特定平台，报错后，对各类历史问题的处理方案自动检索 Agent ，方便用户自行解决。
都是用 Elastic + Dify 简单做的。
目前就是感觉 Agent 的效果还是没达到能大规模实际投入生产的程度。主要几个问题：
1 、数据保密问题，也是最主要的问题，由于厂内对信息保密的要求比较高，不允许使用外部大模型 API 。虽然采购了一些卡部署了 deepseek 开源模型，但速度方面感觉很难满足大规模使用，我算了下只能满足 20 个并发左右。
2 、传统企业数字化程度不足的问题，文档格式非常混乱，虽然数字化已经推进了好几年，但资料还是不太行（还有部门之间的问题，数据上下游配合一直都挺困难的）。
感觉一种现在各种企业都想强推 AI ，但基础又很难执行。
有相关经验的大佬也可以分享下你们的经历。
22 条回复 • 2026-03-09 14:58:31 +08:00
 |
1
chen11 8 天前
领导就是傻逼，我们也是有信息安全要求，只能本地部署，然后卡还不够用。最后的结果就是开发了一半的项目直接干掉，压根用不了。
|
 |
2
bixinhaner 8 天前
dirty data 、dirty work 、dirty security 。各种非技术大山阻碍
|
 |
3
xFrye 8 天前
按你说的，目前公司里数字化推进都这么难，ai 就更不用想了
|
 |
4
Ketteiron 8 天前  1
良好的数字化是 AI 落地的前提，Garbage In, Garbage Out 是永恒不变的真理。
|
 |
5
dingawm 8 天前
现在的模型，文档格式应该不太会影响一般的问答吧？是不是文档内容本身也不太行？
|
 |
6
SakurajimaMa 8 天前
目前遇到同样的问题
|
 |
7
jinlong 8 天前 1
只要有数据和数据字段描述，文档格式在 AI 下根本不是问题。你的问题核心是数据涉密、本地部署成本，天文数字。
|
 |
8
YanSeven 8 天前
除非是 BAT ，不然内部部署的大模型，大概率没啥用。以后可能会有 LLM 的私有云部署服务。
|
 |
9
DefoliationM 8 天前 via Android
自己部署是差很多，搞个差不多的凑合就行了。我司也是，用的 vllm+qwen ，开源里都算好的了，还是各种不遵守指令，还不如 chatgpt 网页上免费的模型。
|
 |
11
Kakarrot 7 天前 via iPhone
还是成本问题不是技术问题
|
 |
13
Hyvi 7 天前
本地部署的根本就不太行，效果非常差，用了一次再也不想用了
|
 |
14
uxstone 7 天前
传统企业的 IT 不是应该躺平当甲方吗？
苦活脏活都扔给乙方外包去做。 |
 |
15
BaiMiao 7 天前
我也是传统行业，马上就要做了，初步做个知识库，接入 IM 工具，然后优化效果，后面接入业务系统，说要搞个虚拟员工。唉，一点头绪都没有，每个阶段都要成果。
|
 |
16
Jack66 6 天前
@DefoliationM vllm 是啥
|
 |
18
anyChris 6 天前
数据保密和文档质量这两个问题太真实了。我们这边也是，厂内不让接外部 API ，自研模型效果又跟不上。
目前折中方案是本地部署小模型做简单检索，复杂任务还是人工处理。等私有化部署的大模型成熟了再大规模推广。 |
 |
19
Kohilos 6 天前
我司从去年底开始也在搞 AI 改造了，老板还让我牵头我们部门搞，头疼。数据安全倒是不用我操心，公司 IT 要求用的 Copilot 365 ，签的协议数据不会用于训练。
|
 |
20
genuifx 6 天前
先数字化 才能智能化，一步跨过去 中间也得补作业
|
 |
22
waklealone 5 天前
传统企业做 Agent ，技术难题反而不是第一位，第一位是权限和责任边界。我的建议是先做“低风险高频”场景：知识检索、FAQ 、工单归类、周报草稿；把“可追溯、可回滚、人工复核”先搭好，再谈自动执行。这样推进会更稳，也更容易拿到管理层支持。
|
Select Language