企业大模型落地不是”接个API”那么简单，也不必一上来就自建千卡集群。真正的难点在于：在数据安全、合规要求和投入预算的约束下，为具体业务场景选对模型、部署方式和增强路径。本文按”场景→选型→部署→增强→合规→成本→路线图”的顺序，给出一套可直接执行的决策方法。
企业用大模型，到底用在哪些场景？
企业大模型最有价值的落地场景集中在三类：知识密集型问答、内容与文档自动化、以及流程型智能体（Agent）。它们的共同点是高频、规则模糊、依赖经验，传统软件难以覆盖。
按价值与落地难度排序，常见场景包括：
- 企业知识问答：基于内部制度、产品手册、技术文档的智能客服与员工助手，落地最快、ROI最清晰。
- 文档处理：合同审查、报告生成、会议纪要、质检报告解析，节省大量重复人力。
- 数据分析助手：用自然语言查询业务数据库、生成报表与图表（Text-to-SQL）。
- 研发与运维辅助：代码生成、工单分类、日志诊断、设备故障知识库。
- 智能体（Agent）：把上述能力组合成可调用工具、能多步执行的自动化流程，是当前投入产出最高的方向。
建议从”知识问答”这类低风险、高确定性的场景切入，验证流程与组织接受度后，再向Agent等复杂场景扩展。
企业大模型怎么选型？开源还是闭源？
选型的第一刀是开源还是闭源：要数据自主可控、可私有化、长期成本可控，选开源；要最快上线、追求顶尖通用能力且数据可上云，选闭源API。多数中国企业的稳妥路径是”国产开源模型 + 私有化部署”。
二者的本质区别在于控制权与成本结构：
- 闭源（如GPT、Claude，及国产闭源API）：开箱即用、能力强、无需运维，但按token计费、数据需出域、长期高频调用成本高，且部分国外模型在国内访问与合规上存在障碍。
- 开源（如DeepSeek、通义千问Qwen、GLM等开源权重）：可私有化、数据不出域、可微调、长期边际成本低，但需要自建算力与工程团队。
对中国企业而言，国产大模型在中文场景、合规可控性和服务可达性上优势明显。下表为主流国产大模型的选型对比（能力为通用场景的相对参考，非绝对评分）：
| 模型 | 提供方 | 开源情况 | 中文能力 | 私有化部署 | 适用场景 |
|---|---|---|---|---|---|
| DeepSeek 系列 | 深度求索 | 有开源权重 | 强 | 支持 | 通用问答、推理、代码、成本敏感型私有化 |
| 通义千问 Qwen | 阿里云 | 有开源权重 | 强 | 支持（多尺寸可选） | 企业知识库、多模态、阿里云生态集成 |
| 文心一言 ERNIE | 百度 | 以闭源API为主 | 强 | 部分支持/私有化方案 | 营销内容、行业大模型、百度云生态 |
| GLM 系列 | 智谱 | 有开源权重 | 强 | 支持 | Agent、工具调用、企业应用 |
| 国外模型（GPT/Claude等） | 海外厂商 | 闭源 | 较强 | 不支持境内私有化 | 对能力上限要求高且数据可出境的场景 |
选型时建议用自己的真实业务数据做小规模评测（10–30条典型任务），而不是只看公开榜单——榜单分数与具体业务表现往往不一致。
公有云API还是私有化部署？
判断标准只有一个核心问题：数据能不能出企业。涉及商业机密、个人信息、或受等保三级及以上监管的数据，必须私有化部署；其余对成本和上线速度更敏感的场景，公有云API通常更划算。
两种方式的关键差异如下表：
| 维度 | 公有云API | 私有化部署 |
|---|---|---|
| 数据安全 | 数据出域，依赖厂商承诺 | 数据不出域，自主可控 |
| 合规适配 | 一般场景适用 | 满足等保三级、商密要求 |
| 初期投入 | 极低，按量付费 | 高，需采购GPU硬件 |
| 长期成本 | 调用量越大越贵 | 边际成本低，规模化更省 |
| 上线速度 | 快，数天可用 | 慢，需2–8周部署调优 |
| 运维要求 | 几乎为零 | 需专职运维与算力管理 |
| 模型更新 | 厂商自动升级 | 需自行跟进 |
一个务实的折中方案是混合架构：非敏感任务走公有云API，敏感数据相关任务走本地私有化模型，由统一的网关层做路由与脱敏。这能在合规与成本之间取得平衡。
RAG、微调、提示工程，到底用哪个？
三者解决的是不同问题：要让模型”知道”企业专有知识，用RAG；要改变模型的”风格、语气或专业判断能力”，用微调；只是调整输出格式或简单任务，用提示工程即可。优先级一般是：提示工程 → RAG → 微调。
具体选择逻辑：
- 提示工程（Prompt Engineering）：成本最低，无需训练。适合格式控制、分类、简单改写等任务，几小时到几天即可见效。永远先尝试这一步。
- RAG（检索增强生成）：把企业文档向量化存入知识库，回答时实时检索相关内容喂给模型。适合知识频繁更新、需要引用来源、要求可追溯的场景，是企业知识问答的主流方案。
- 微调（Fine-tuning）：用企业数据进一步训练模型。适合需要固定输出风格、掌握特定专业能力、或RAG难以覆盖的隐性知识场景，成本和门槛最高。
经验法则：80%的企业需求用”RAG + 提示工程”就能满足，不要一开始就上微调。RAG与微调也可叠加——用微调让模型更”懂行话”，用RAG为它补充实时、可追溯的知识。
数据安全与等保三级合规清单
大模型应用涉及个人信息或重要数据时，需满足《网络安全法》《数据安全法》《个人信息保护法》及网络安全等级保护2.0要求。通过等保三级的核心是：数据不出域、全程可审计、输出可管控。
落地时建议对照以下合规清单逐项核查：
- 数据本地化：核心数据与模型在企业内网或合规私有云内运行，不出域。
- 定级备案与测评：完成系统定级、向公安机关备案，并通过具备资质机构的等保测评。
- 访问控制：基于角色的权限管理（RBAC），最小权限原则，关键操作双因子认证。
- 日志审计：完整记录调用、检索与输出日志，留存不少于6个月。
- 传输与存储加密：数据传输用TLS，敏感数据落盘加密。
- 内容安全：接入敏感词过滤与内容审核，防止违规输出，符合生成式AI服务管理要求。
- 越权与注入防护：防范提示词注入（Prompt Injection）与越权检索，知识库做租户隔离。
- 数据脱敏：训练与检索语料中的个人信息、商密做脱敏或去标识化处理。
提供面向公众的生成式AI服务还需关注算法备案与大模型服务备案要求；纯内部使用的应用通常以等保合规为主。
硬件与成本怎么估算？
私有化部署的成本主要由模型规模和并发量决定。运行经过量化的中小模型，入门级硬件投入约3万–8万元；支撑较大模型与多并发的生产方案，硬件常在20万元以上，另需叠加运维与集成成本。
以GPU显存为核心的粗略估算参考：
| 方案 | 模型规模 | 显存需求（参考） | 硬件投入区间 | 适用情况 |
|---|---|---|---|---|
| 入门私有化 | 7B–14B（量化） | 16–24GB | 约3万–8万元 | 小团队内部助手、低并发 |
| 标准私有化 | 14B–32B | 48–80GB | 约15万–35万元 | 部门级知识库、中等并发 |
| 高性能私有化 | 32B–70B+ | 多卡 80GB×N | 30万元以上 | 全公司级、高并发、复杂Agent |
| 公有云API | 不限 | 无需自购 | 按量付费 | 上线快、数据可出域的场景 |
成本估算时还需计入：工程集成（系统对接、知识库建设）、运维（电力、机房、人力）、模型迭代等隐性成本。一个典型的部门级RAG项目，软硬件加实施的总投入通常在十万元量级，具体随场景规模浮动。建议先用公有云API跑通业务验证价值，再决定是否私有化。
企业大模型落地路线图
成熟的落地路径是”小步快跑、先验证后扩展”：用4–10周完成一个最小可用应用（MVP）跑通闭环，再逐步扩展场景和能力，而不是一次性投入大规模建设。
推荐分四个阶段推进：
- 第1阶段（1–2周）评估与选型：梳理高价值场景，明确数据敏感度，用真实数据做小规模模型评测，确定模型与部署方式。
- 第2阶段（2–4周）MVP验证：选一个高确定性场景（如知识问答），用RAG+提示工程快速搭建原型，验证准确率与用户接受度。
- 第3阶段（4–8周）生产化：完善知识库、接入业务系统、做权限与日志、按需私有化部署并满足合规要求。
- 第4阶段（持续）扩展与运营：扩展到更多场景与Agent，建立效果评测、数据回流与持续优化机制。
关键原则：先解决一个真问题，再谈平台化。把首个场景做到生产可用、被业务真正使用，比铺开多个半成品更有价值。
趣果科技专注于企业AI应用定制、LLM·RAG集成与大模型私有化落地，可在选型评估、私有化部署、等保合规与知识库工程等环节提供端到端支持，帮助制造、园区、能源等行业的企业把大模型真正用起来。