大模型后台设计与模型推理优化全解析

大模型后台设计与模型推理优化 赵翰｜腾讯云代码助手-大模型后台与推理负责人 赵翰 腾讯云代码助手-大模型后台与推理负责人 Part 1 Part 2 Part 3 模型后台系统设计 模型推理优化 模型推理实践 模型后台系统设计 大模型产品整体架构设计 前端与开发工具 •IDE：承载对话、补全等功能，协助开发者编写代码。 •Gateway：作为系统入口，负责请求路由和安全控制。 认证与安全 •Auth Server：负责用户身份验证和权限管理。 •Model Security Check：对模型进行安全性检查，确保模型的安全性和合规性。 核心服务 •Copilot Server：提供对话与补全能力，是与前端与模型交互的核心服务。 •Knowledge Server：管理知识库，通过Chunk Server和Embedding Server处 理和存储知识片段。 模型与训练 •Modes：不同的模型实例或 API，支持多样化的任务需求。 •Model Training：模型训练流程，包括数据清洗、模型训练等。 监控与分析 •Event Report Server：收集和处理事件报告，为系统优化提供数据支持。 •OLAP：存储 Event 上报事件指标，用于数据分析和报表生成。 •Grafana：可视化监控平台，展示系统运行状态和性能指标。 基础服务 •Config Server: 配置管理服务，统一管理系统的配置信息。 •Billing Server: 计费服务，处理与计费相关的业务逻辑。 中间件 •DB等: 提供数据存储、缓存、消息队列和文件存储等基础服务支持。 模型路由的设计 为什么需要做配置下发与模型路由功能？ •资源优化: 不同的模型具有不同的计算资源和能力特点。通过模型路由，可以将请求精确分发到最适合处理该请求的模型服 务器，避免资源浪费。 •灵活性与可扩展性: 端侧