伴随个人智能体涌现与推理需求激增,Token消耗提升数个数量级,推动AI算力加速向端侧下沉。产业界正围绕存算一体架构与Token经济学发力,力求将边际推理成本降至极致,端侧AI有望在一至两年内迎来落地拐点。
近期,随着本地模型、端侧小模型以及各类个人智能体(Agent)的持续涌现,AI 如何高效且安全地部署到 PC、手机等本地终端设备,再次成为科技产业关注的焦点。
尽管业界普遍看好端侧 AI 将成为未来的核心计算形态,但其全面爆发的节点似乎屡次推迟。如今,端侧 AI 走到了哪一步?算力瓶颈如何突破?商业落地的最后一道坎又在何处?

在近日举办的大模型赋能智能终端创新实践大会上,复旦大学国际关系与公共事务学院副教授、全球人工智能创新治理中心副主任蒋昌建表示,关注端侧 AI 的演进,本质上需要理解算力从云端向边缘侧转移所引发的系统性变化,以及随之而来的权力、风险和责任分配。
蒋昌建以近期科技巨头限制个人智能体接口为例指出,端侧 AI 的推广涉及底层权限与商业规则博弈。建立开放、公平的接口治理体系,平衡安全性、自主权与权责界定,是端侧生态健康发展的基石。
算力由云向端的扩散,直接驱动了底层 AI 芯片格局的重构。
后摩智能创始人兼 CEO 吴强指出,过去一年端侧计算产业的演进异常迅速。Agent 的广泛应用使得单次任务的 Token 消耗量激增 2 到 3 个数量级,且这一趋势仍在加速。这种高频调用对推理能效比提出了极高要求,也让存算一体等新型架构迅速走向台前。据悉,后摩智能旗下的端侧存算一体芯片 M50 量产不到一年,已斩获 150 多个产品定点,服务客户超过百家。
在落地场景中,目前放量最快的是 Agent 专用计算机(Agent Computer)和边缘服务器。对于体量巨大的 PC 市场,普通设备向 AI PC 的升级尽管需要周期,但存量替换空间十分可观;与此同时,具身智能设备也在快速导入端侧算力。
吴强强调,成本和生态是端侧 AI 走向普及的关键。如果端侧设备的一次性硬件投入能够支撑无限次本地调用,使 Token 的边际成本趋近于零,行业将迎来颠覆性变化。随着模型轻量化与端侧芯片计算效率同步提升,他判断产业有望在未来 1 至 2 年内迎来关键临界点。
阿里云智能集团千问模型智能硬件行业总监徐超也认为,端侧突破的核心在于充分发挥 NPU 算力与内存带宽优势,提升模型的“智能密度”。到 2027 年年中,端侧模型有望独立支撑普通用户的绝大部分工作流,“个人超级计算机”或将成为普及配置。
随着推理需求集中爆发,“Token 经济学”成为行业核心考量,两大核心指标尤为关键:一是代表单位成本产出效率的 Token/$,二是衡量能效比的 Token/W。
后摩智能联合创始人兼产品副总裁信晓旭表示,为兼顾算力密度与功耗,团队正以 SRAM-CIM 为底层根技术,推进 2D CIM 与 3D CIM 双路线研发,以分别满足高容量与超大带宽需求。他打比方称,当前 Agent 平台的涌现极似移动互联网初期的 iOS 与 Android 系统构建期,平台层成熟后,端侧应用将迎来真正的爆炸式增长。
万格智元创始人兼 CEO 王冠博同样指出,AI 的普及驱动力源于实用性而非单纯的模型参数规模。用户需要的是能解决具体问题的模型,而非最昂贵的通用模型。随着模型效能提升,AI 范式正经历从“依赖外部智能”到“本地拥有智能”的转变,端侧最终会成为大众接触 AI 的主要入口。
不过,端侧 AI 全面落地仍面临场景匹配、部署门槛和商业模式等现实挑战。
罗格数据 CTO 刘学鹏提到,用户只会为切实解决业务痛点的“最后 100 米”买单。端侧方案若想真正跑通,必须攻克数据孤岛打通、工作流深度嵌入以及概率输出稳定性三大难关。
多位业内人士一致认为,端侧 AI 承载着低延迟、隐私安全与低推理成本的期望,但现阶段的核心瓶颈依然是规模化成熟场景不足。要缩短研发周期并破除落地壁垒,产业上下游必须从零散的单点适配转向系统级生态协同,才能真正推动端侧 AI 从技术演进迈向产业奇点。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断