宝软数字 · 产品深度解读 · 2026年12月7日
某头部券商的CIO在一次闭门会上说了句大实话："GPT再强，我也不能把客户的交易记录传上去。数据出境这条红线，踩一次职业生涯就结束了。"这句话代表了整个强监管行业的心声——他们对AI的能力充满渴望，但对数据安全的担忧让这份渴望一直悬而不决。
好消息是，2026年不再是"本地部署=牺牲性能"的时代。开源大模型的爆发式进步、量化技术的成熟、推理框架的优化，让私有化部署从"能用"跨入了"好用"的阶段。宝软数字EIOS平台在服务多个金融、医疗、军工客户的过程中，摸索出了一套完整的本地模型部署实践体系。这篇文章将毫无保留地分享。
不是所有企业都需要本地部署AI。在决定是否走私有化道路之前，先搞清楚你的数据主权要求属于哪个级别：
数据没有特殊的合规要求，可以直接使用第三方API。这类企业占总数的约60%，使用云端API模型是最优解——成本低、迭代快、无需运维。
与客户签有保密协议，不能把客户数据暴露给第三方，但企业内部非敏感数据可以用云API。推荐混合部署：非敏感场景用云API，敏感场景走本地。这类企业的典型方案是"云端GPT + 本地开源模型"的双轨架构。
受《个人信息保护法》《数据安全法》《银行业金融机构数据治理指引》等强监管，核心业务数据严禁出境。但又需要AI能力来做合同分析、报告撰写、客户服务等。推荐纯本地部署或VPC内专有实例。EIOS平台的大部分强监管客户属于这个级别。
物理隔离网络、没有任何外网连接。只能用完全离线的本地模型，连模型下载都需要通过内部安全审计。这类场景技术复杂度最高，但开源模型的成熟已经让这条路走得通了。
关键判断：在确定你的部署模式之前，先找法务做一次数据分级分类。哪些数据能出企业？以什么形式出（明文/脱敏/聚合）？出到哪里（境内/境外）？这些问题的答案决定了你的技术选型天花板。
选模型是本地部署的第一步也是最关键的一步。2026年的开源大模型市场大致分为四个梯队：
Meta的开源投入是认真的。Llama 4在代码、推理、多语言能力上相比Llama 3有质的飞跃。70B参数版本在多数企业场景中已经接近GPT-4o的水平，而405B版本在某些推理任务上甚至超越了它。Llama最大的优势是生态——适配工具最多、社区最活跃、硬件兼容性最好。如果你的团队有较强的工程能力且需要定制化微调，Llama是最稳妥的选择。
对于中文为主要工作语言的企业，Qwen是目前开源模型中中文能力最强的。Qwen 3 72B版本的中文理解与生成质量，在很多评测中已经持平甚至超越同等参数量的Llama 4。更重要的是，Qwen有完整的模型谱系——从1.8B到72B，从稠密模型到MoE，从中英文到多语言——你可以根据场景选择最合适的规格，不用为一个场景Overkill地部署一个大模型。
2018-2026年最引人注目的黑马。DeepSeek V3在编程和数学推理上的表现令人惊艳，R1的思维链推理能力在开源模型中几乎无出其右。更重要的是，它的MoE架构让推理时的激活参数只有总参数的约1/5——这意味着在相同硬件上，DeepSeek的推理速度是同等尺寸稠密模型的3-5倍。对于硬件预算有限但有高吞吐需求的企业，DeepSeek是性价比之王。
欧洲阵营的代表。Mistral Large 2在企业级RAG场景和Function Calling方面的表现可圈可点，且其APACHE 2.0许可证对商业使用最友好。Command R+在RAG和多语言长文档处理方面有独特优势，适合以文档理解为核心场景的企业。
选型建议：不要只看榜单排名，要在你自己的业务评测集上跑一遍。我们见过太多客户选了"排名最高"的模型，结果发现它在自己的业务Query上表现不如一个"排名第十"的领域特化模型。花三天时间建一个100条真实Query的评测集，比看一个月的评测报告都有用。
"本地部署AI需要多少块A100？"这是企业CTO最常见的第一个问题。答案是：取决于你选择的模型和推理框架，但不一定需要A100。
对于绝大多数企业场景（RAG问答、文档分析、代码辅助等），推理是主要负载，训练场景占比很小。推理的硬件要求远低于训练：
量化是将模型的浮点参数从FP16/FP32压缩到INT8/INT4的技术。2026年的量化技术（GPTQ、AWQ、GGUF）已经相当成熟，INT4量化的模型推理质量损失通常在1-3%以内，但显存和计算需求减少了60-75%。对于绝大多数企业场景，这个微小的质量折损完全值得。
EIOS平台在多个客户环境中实测的数据：Qwen 3 72B INT4量化后，在单张A100 80GB上可以支持约8-10 QPS的并发推理，回答质量与FP16版本在人工评估中无显著差异（盲评胜率50.3% vs 49.7%，统计学上无法区分）。
以部署一个支持20并发、日均10万次调用的中大型企业AI系统为例：
三到五个完整生命周期的总TCO通常在100-200万元。对比同等规模使用GPT-4o API的三年费用（约150-300万元），本地部署在中长期是有成本优势的。但这个计算的前提是——你有足够的稳态负载来摊薄硬件成本。如果日调用量只有几百次，那API模式的TCO更低。
决策框架：用API和本地部署的分界线大约在日均5000-10000次推理调用。低于这个量，API更划算（零硬件投入、免运维）；高于这个量，本地部署的长期TCO开始显现优势。但合规要求优先于成本计算——强监管行业的本地部署是必须，不是选择。
选好模型、配好硬件之后，下一步是将模型文件变成一个可用的API服务。2026年的推理框架之争已经基本明朗：
vLLM的PagedAttention机制让KV Cache的内存利用率大幅提升，在同样硬件上的吞吐量通常是HuggingFace TGI的1.5-2倍。支持连续批处理（Continuous Batching），高并发场景下的Latency表现稳定。开源社区活跃，生态完善。是目前本地部署的主流选择。
SGLang的特点是内置了对结构化输出（JSON Schema、正则约束）的一流支持。如果你的AI大部分输出需要被下游系统自动解析，SGLang可能在端到端体验上比vLLM更流畅。
如果你的团队还在PoC阶段，需要快速验证一个想法——用Ollama。一行命令部署模型、内置REST API、支持GGUF量化格式、跨平台兼容。它不适合生产环境的高并发场景，但做原型和MVP时，没有比它更快的启动方式。
对于需要在Mac Studio、甚至边缘设备（工业工控机）上运行AI的场景，GGUF格式 + llama.cpp是最优解。虽然吞吐量不如GPU方案，但在低功耗、低延迟的场景中有不可替代的优势。
EIOS平台的本地部署方案底层集成了vLLM和Ollama两个推理引擎，根据客户的不同阶段和场景自动推荐。生产环境默认vLLM，POC阶段推荐Ollama。
一句话总结：PoC用Ollama快速验证，上生产用vLLM扛并发，结构化输出场景考虑SGLang，边缘设备用llama.cpp。不要混用——每个框架的设计哲学不同，混用只会增加维护复杂度。
"模型部署在企业内部"不等于"数据安全万事大吉"。一个草率的私有化部署可能带来新的安全风险：模型权重被盗、推理日志泄露、Prompt注入攻击、模型投毒等。以下是一个完整的私有化安全架构应该涵盖的层面：
推理服务器应部署在独立的VLAN或安全组中，只通过内部API Gateway对外暴露，不直接接入公网。所有API调用经过统一的认证（JWT/OAuth2）和授权（RBAC/ABAC）层。管理端口（如推理框架的Swagger UI）严禁对外暴露。
传输层必须使用TLS 1.3（即使在内网）。持久化层（知识库、向量数据库、日志）必须加密存储。最关键的是：推理日志中不得包含业务敏感字段（身份证号、手机号、交易金额等），必须在写入日志前进行自动脱敏。
推理服务运行在安全的容器运行时（如gVisor或Kata Containers）中，限制系统调用、网络访问和文件系统访问。容器之间不共享卷和网络命名空间，每个租户（如果有）使用独立的推理实例。
每次AI推理调用必须记录完整的审计日志（调用者、时间戳、原始Query哈希、响应摘要、模型版本），但不记录完整的Query和Response原文（安全与审计的平衡）。日志保留期符合行业合规要求。
安全不是事后补丁：我们见过一个客户，模型部署做得很好，但推理框架的管理界面默认开放在内网所有端口上，任何内网用户都可以直接发送未经审计的推理请求。这个漏洞在安全审计中被发现后，他们花了整整一周重新改造网络架构。安全要从第一天开始设计，不是上线后补。
对于绝大多数企业来说，最优解既不是100%云端，也不是100%本地，而是混合部署——在云端和本地之间建立智能的负载分发策略。
EIOS平台的混合部署架构在实践中证明是最具性价比的方案：
这个混合架构让企业在享受云端模型强大能力的同时，守住数据主权的底线。在EIOS的实际部署中，混合模式的客户平均将约60-70%的请求走云端（节省成本+利用最新模型能力），30-40%的敏感请求走本地（数据不出门），综合成本和性能达到了最优平衡。
本地部署AI不再是一个技术挑战，而是一个架构选择。选对了模型、配对了硬件、建好了安全体系、搭好了混合架构——数据不出企业的AI就不再是梦。