私有化部署FAQ

支持私有化部署吗?——EIOS本地部署FAQ

宝软数字 · FAQ知识库 · 2025-09-16

对于金融、医疗、政务、军工等行业,数据不出域不是"最好有",而是"必须有"。私有化部署是这些行业的准入门票。本文完整回答关于EIOS私有化部署的所有实际问题——从硬件选型到运维成本,从离线能力到版本升级。

私有化部署架构

问题一:私有化部署需要什么硬件?

答:硬件需求取决于你是否在本地运行大模型(推理),以及预期并发量。以下是三档推荐配置:

轻量配置(仅平台+连接器,不使用本地大模型)——适用场景是使用云端模型API(如GPT-4),但希望应用层和数据存储留在本地。需求:CPU 8核、内存16GB、SSD 200GB。成本约每台服务器5,000-15,000元(一次性购置)。单台服务器即可运行全部组件(可通过Docker Compose一键部署)。

标准配置(含本地7B-13B参数模型推理)——适用场景是运行DeepSeek、Qwen等开源中小模型。需求:CPU 16核、内存32GB、GPU一张(RTX 4090 24GB或 A10 24GB或等效算力)、SSD 500GB。成本约每台服务器30,000-80,000元。支持10-20个并发请求。

高性能配置(含本地70B参数模型推理)——适用场景是大规模并发和高质量推理。需求:CPU 32核、内存128GB、GPU两张(A100 80GB或等效算力)、NVMe SSD 1TB。成本约每台服务器25万-50万元。支持50-100个并发请求。

高可用配置:以上任何配置均可扩展为双节点主备或三节点集群。增加一台同规格服务器作为备机,通过数据库主从复制和负载均衡实现高可用。

如果不确定应该选哪档,我们可以根据你的用户数、预期日调用量和已选Agent类型,做一次免费的容量规划评估

一个容易被低估的细节是存储规划。EIOS私有化部署的主要存储消耗来自三部分:向量数据库(知识库文档的嵌入向量,每100MB文档约产生2-3GB向量数据)、数据库(对话记录、审计日志、用户操作数据,月均增量约5-15GB,视使用强度而定)、模型文件(单个7B参数模型约15GB,70B参数模型约140GB)。建议为存储预留至少30%的冗余空间。我们推荐的SSD不是因为它速度快(确实是),而是因为向量检索是典型的随机读场景,HDD的寻道延迟会成为性能瓶颈。

另外关于GPU选型的一个实用建议:如果你选择了运行本地模型,GPU显存大小比GPU算力更重要。因为模型推理的核心约束是显存能否装下整个模型(包括KV Cache)。7B参数模型在FP16精度下需要约14GB显存(量化到INT8后约7GB),70B参数模型在FP16下需要约140GB显存(INT8量化后约70GB)。因此一块24GB显存的RTX 4090跑7B模型绰绰有余,但跑70B模型就需要通过模型并行跨多张GPU。如果你不确定,我们建议从7B模型起步——它的回答质量在很多企业场景中已经足够好,且硬件门槛低很多。

提示:如果你暂时没有GPU服务器,轻量配置+云端模型API也是一种合规的私有化方案——你的业务数据存储在本地服务器上,只有脱敏后的推理请求通过加密通道发送到云端模型,原数据不出域。
硬件配置方案

问题二:可以用哪些本地模型?必须联网吗?

答:EIOS私有化部署支持运行开源大模型,完全离线可用

已适配的开源模型列表:DeepSeek-V3(671B MoE架构,推理效率极高,4090即可流畅运行)、DeepSeek-R1(推理增强型,适合复杂逻辑和代码场景)、Qwen2.5系列(阿里通义千问开源版,包括7B/14B/72B,中文能力优秀)、Qwen3(最新版,多模态支持)、Llama 3.1/3.2系列(Meta开源,英文场景最优选择之一)、ChatGLM3/4(智谱开源,中英文双语)、Yi系列(零一万物开源,1.5B-34B多规格可选)、Mistral系列(欧洲开源,适合多语言场景)。

模型运行方式:我们使用Ollama或vLLM作为模型推理引擎,它们对上述模型提供了开箱即用的支持。你只需下载模型权重文件(通常从HuggingFace或ModelScope),放入指定目录,配置文件中写一行模型路径,启动即用。整个过程不需要联网(模型文件可以提前下载好通过U盘导入)。

完全离线能力:当所有组件(平台+模型+数据库)都部署在本地,且不使用任何外部API时,整个系统可以在一台完全断网的服务器上正常运行。这对于涉密单位、军工企业、核电站等场景是不可或缺的能力。EIOS已经在多个完全离线的客户环境中完成了验证部署。

问题三:私有化部署的版本升级怎么处理?

答:我们设计了一套"低痛升级"流程,尽量避免传统企业软件升级的痛苦——停工半天、出问题回滚失败、升级完发现数据对不上。

升级频率:稳定版每季度发布一次(包含新功能和Bug修复),安全补丁按需发布(Critical级别24小时内)。你可以选择跳过某些版本(如从v2.1直接升级到v2.4),升级脚本自动处理累积的数据库schema迁移。

升级流程:第一步——在你的测试环境(我们强烈建议私有化部署客户维护一套测试环境)上执行升级脚本,运行自动化测试套件验证。第二步——在生产环境的维护窗口(如周末凌晨)执行升级,通常停机时间不超过30分钟。第三步——升级后执行数据一致性校验脚本,确认所有功能正常。

回滚机制:每次升级前自动创建完整快照(数据库+文件系统+配置),如升级后出现问题,执行 ./rollback.sh 即可恢复到升级前状态,耗时通常5-10分钟。

升级包交付:通过安全下载链接或物理介质(加密U盘)交付,含完整的升级脚本、回滚脚本、变更日志和测试清单。对于完全离线客户,我们派人携带加密U盘到现场执行升级。

升级与回滚流程

问题四:私有化版和SaaS版功能有差异吗?

答:功能完整度完全一致。但有一些架构层面的合理差异:

完全一致的部分:全部12个Agent模块、企业连接器框架、知识库系统、RBAC权限体系、审计日志、API接口、SDK。私有化版本的代码与SaaS版本来自同一套源码仓库,只是部署位置不同。

私有化版多出的能力:本地模型运行(SaaS版使用云端模型)、完全离线能力、源码交付(可选,方便你的团队深度定制和审计)、自定义品牌(登录页Logo、主题色、域名完全自定义)、与内网LDAP/AD/CA的无缝对接。

SaaS版多出的便利:零运维(我们负责全部基础设施)、持续自动升级(无需你安排维护窗口)、弹性伸缩(流量突增时自动扩容)、多可用区灾备(数据在三个机房实时同步)。

简单说:功能层面没有"阉割版",私有化部署不妨碍你使用任何功能。差异主要体现在运维责任和基础设施灵活性上。

问题五:私有化部署的安全优势具体是什么?

答:这不是营销话术的"更安全",而是架构层面的可验证差异:

数据物理边界:所有数据——对话记录、上传的文档、知识库内容、ERP查询结果缓存、用户操作日志——全部存储在你自己机房的服务器硬盘上。物理层面没有任何数据包离开你的防火墙。这一点对需要遵守《数据安全法》《个人信息保护法》的企业来说至关重要。

网络安全可控:你可以将其部署在完全隔离的内网环境中(甚至是一个没有互联网出口的物理隔离网络)。外部攻击者没有网络路径可以接触到EIOS服务。安全责任完全收敛到你的内网安全体系——你已有的防火墙、IDS/IPS、堡垒机、日志审计系统可以无缝覆盖EIOS。

模型推理安全:如果你使用本地模型,所有推理计算在你的GPU上完成。如果你选择使用云端模型作为补充,我们提供了数据脱敏网关——在请求发送到云端模型前,自动识别并脱敏身份证号、手机号、银行卡号、企业机密字段等敏感信息。脱敏后的请求再经过TLS加密发送,云端模型收到的只是"客户XXX于XX年XX月在XX地区购买产品",而不是"张三于2025年3月15日在上海购买了XX设备"。

合规审计自主:私有化部署下,审计日志的存储、备份、销毁策略由你完全自主控制。你可以将审计日志接入企业自有的SIEM系统(如Splunk、ELK),与全企业的安全事件做关联分析。

安全架构对比

问题六:从SaaS版迁移到私有化版方便吗?反过来呢?

答:两个方向的迁移我们都支持,且有标准化的迁移工具。

SaaS到私有化:典型场景是"先用SaaS验证效果,确认跑通后再私有化部署"。迁移工具将你的配置数据(Agent设置、连接器参数、权限规则、知识库文档)打包导出为一个加密的迁移文件。你在私有化环境部署完成后,导入这个文件即可恢复全部配置。用户数据和历史对话记录也可以一并迁移(需要额外的数据导出审批流程)。整个迁移过程在半天内完成。

私有化到SaaS:典型场景是"合并或收购后统一到集团SaaS平台"。流程类似,方向相反。需要注意的是,如果私有化环境使用了本地模型,迁移到SaaS后需要切换到云端模型(因为SaaS环境不承载你的私有GPU)。模型切换可能导致某些高度定制化Prompt的输出风格有所变化,建议迁移后在测试环境做一轮回归验证。

混合模式:有些客户选择了混合部署——核心敏感业务在私有化环境运行(如财务审计Agent),非敏感业务在SaaS环境运行(如通用知识库问答)。两个环境通过统一的SSO和用户目录打通,对最终用户来说体验是一致的。这种模式的额外好处是:你可以用私有化环境的成本覆盖"必须合规"的场景,用SaaS的低运维成本覆盖"无所谓在哪"的场景。

混合模式的技术实现比听起来简单。两个环境共享同一个用户身份源(LDAP/AD或企业微信),用户登录时通过统一的SSO认证页面,认证后根据用户访问的Agent类型自动路由到对应的环境。对于用户来说,在对话界面切换Agent时,系统在后台无缝切换数据源——他们感知不到自己正在从"本地环境"切换到"云端环境"。管理员在统一的管理后台中监控两个环境的运行状态和用量数据。

从成本角度看,混合模式也是一种务实的渐进策略。一个典型的路径是:先上SaaS标准版验证Agent的业务价值(年费9.8万),如果需要合规私有化,再将敏感的Agent模块迁移到私有化环境,非敏感模块继续留在SaaS上。这样既保证了合规,又避免了"一开始就全套私有化"的过高投入。

混合部署架构

需要私有化部署方案?

获取针对你企业规模和合规要求的私有化部署技术方案书

🔍 获取方案书