在过去的数年间，AI领域的主旋律是将模型规模不断扩张，追求更强大的性能。然而，当模型进入智能体（Agent）和复杂工作流阶段后，一个新挑战逐渐显现：模型能力越强，所需的Token消耗量就越大，推理成本已然成为AI技术规模化应用必须面对的关键问题。

这种变化促使AI产业的关注点从单纯追求“模型规模极限”，开始转向“如何让这些能力在更合适的场景落地”。虽然云端部署仍是主流，但端侧AI正展现出前所未有的潜力：如果最前沿的模型不再局限于数据中心，而是能够直接运行在普通用户的办公设备上，将会引发怎样的变革？

这绝非简单的模型压缩。从模型架构设计、硬件适配到推理框架优化，每个环节都需要系统性重构。

明略科技副总裁、多模态首席科学家赵晨旭在战略研讨会上，系统阐述了端侧模型创新的底层逻辑。基于Scaling Out技术路径，他提出核心命题：如何让顶尖AI能力突破云端边界，真正下沉至个人办公终端？这或许标志着端侧AI从“支持轻量模型”向“承载大型模型”的关键范式转变。

图片来源：明略科技

以下为精选内容解读：

随着AI能力指数级增长，其背后的Token消耗与算力成本呈同步攀升态势。换个视角思考：若某日像Fable 5这样的旗舰模型完全开源，会产生什么影响？

这个假设正在成为现实。当前已出现多个接近顶尖水平的开源模型，例如Kimi K3。通过明略科技构建的WebRetriever大规模Web Agent评测基准测试显示，K3在最高难度协议三中已登顶榜首。

这意味着“是否存在接近闭源模型的开源方案”已有了明确答案。但新问题随之而来：即便模型开源，企业与个人真的能用好吗？

以K3为例，其完整MoE架构包含2.8万亿参数，激活参数达千亿级别。对普通用户而言，模型开源不等于可用。因此AI行业正面临战略转折：从追求模型规模转向探索如何将现有强大模型进行精细化拆解与本地化部署。

这正是端侧模型创新的核心出发点。

从“模型扩张”到“能力解耦”

图片来源：明略科技

回顾大模型发展史，始终围绕三个核心要素展开：模型架构、硬件支撑与推理框架。

在模型层面，Scaling Law主导了技术演进方向：通过持续增加参数规模、训练数据与算力投入，实现能力跃迁。这种通用模型的设计初衷是服务全球用户，覆盖金融分析、代码开发、科学计算等全场景需求，因此需要集成数千个专业领域的知识模块。

但现实需求往往具有特异性。

对具体企业或个人而言，真的需要调用全部专家模块吗？

答案是否定的。金融从业者更关注行业分析模块，研发人员则需要代码生成与Web搜索能力。每个用户真正需要的，可能只是大型模型中的十几个核心模块。

这引发出关键问题：能否从通用模型中精准提取用户所需的能力子集？

若模型规模得以缩减，新挑战随之而来：如何让优化后的模型在普通PC上运行？这需要硬件适配与推理框架的协同创新。

当前的核心命题已从“如何扩大模型规模”转变为“如何让强大模型触手可及”。若能破解模型、硬件、框架的三重约束，Token投入产出比将发生质变。

Scaling Out：在模型瘦身中保留专业能力

提到模型压缩，传统蒸馏技术（Scaling Down）通过牺牲部分专家能力来维持模型通用性。而明略科技提出的Scaling Out路径则采取不同策略：

该方法允许适度牺牲数据分布广度，但要求保留专家的原始能力强度。

其核心逻辑是：通过精准识别用户需求，构建最小化专家集合。

图片来源：明略科技

可将大型模型视作包含无数知识领域的圆，Scaling Down是整体缩小这个圆，而Scaling Out则是从中切割出与用户需求匹配的子圆。

实现这一目标的关键在于：通过用户行为分析定位真正有用的专家模块。

具体实施分为三步：首先基于用户画像构建任务数据集，其次通过模型路由机制追踪任务执行时激活的专家模块，最后统计各模块的使用频率与任务关联性。例如代码任务会高频调用特定编程专家，而搜索任务则激活另一组专家。

经过海量任务分析，可形成针对特定用户的最小专家集合。原本万亿参数的模型，可能只需保留百分之一的核心模块。随后通过定制化路由设计与微调训练，最终获得适合场景部署的精简模型。

这种方法的本质不是单纯压缩模型，而是解耦通用能力中的特异性需求，为Private AI发展奠定技术基础。

未来AI生态或将呈现双轨发展：一方面持续追求通用AGI模型，另一方面涌现大量面向特定场景的Private AI。这些模型不需要掌握全球知识，只需具备用户所需的专业能力。模型瘦身后的硬件适配挑战

模型优化仅是第一步，硬件适配才是端侧部署的关键瓶颈。

当前消费级PC呈现显著分化：部分设备算力充足但显存不足，另一些内存充裕却缺乏大模型运算能力。传统认知中，普通电脑运行40亿参数模型已属不易，但明略科技已实现1200亿参数模型在商用PC上的本地化部署，并支持断网环境下的复杂代码生成任务。

这得益于硬件资源的创新整合。通过将明略自研的Octo智能工作平台与OpenAI Codex集成，在普通电脑上构建了完整的本地化AI运算环境。

这一突破揭示重要趋势：端侧AI的准入门槛正从“GPU配置”转向计算存储资源的系统化整合能力。

能否在普通办公设备上运行大型模型，取决于模型架构、推理框架与硬件资源的深度协同。明略科技正持续推进相关技术研发，最新成果将于近期公布。

端侧AI的核心价值：从技术可行到经济可行

当模型、硬件、框架三大难题得到解决，端侧AI将重构AI经济模型。

传统模式下，企业使用AI需持续租赁云端算力，按Token数量支付费用。若模型可本地部署，AI使用方式将从“持续租用算力”转变为“一次性购置能力”。

这种转变带来双重价值：

1. 数据安全与离线能力：对数据敏感的企业可通过本地化部署确保模型、数据、任务全程留存于内部网络，消除数据泄露风险。

2. 存储资源再利用：企业现有设备中的闲置存储空间，可通过新型推理框架转化为AI运算资源，实现基础设施的循环利用。让前沿AI能力走进千行百业

AI发展长期遵循Scaling Up路径：模型参数持续膨胀，算力需求指数增长。但明略科技提出的Scaling Out路径开辟了新方向：

不再追求让每个用户拥有完整通用模型，而是帮助用户从基础模型中提取所需的专业能力，并解决两大现实问题：如何在普通硬件上运行，如何以低成本持续使用。

从模型优化到硬件适配，再到推理框架创新，本质都是为了实现一个目标：将云端的前沿AI能力，真正输送至用户的办公终端。

未来的端侧AI不再等同于小型模型，而是具备三大特征：模型能力强大但只运行所需模块，模型规模庞大但无需全部加载至显存，设备性能普通但能整合CPU、GPU、内存等资源形成运算合力。

最终目标不是让每个用户配备超级计算机，而是使现有办公设备具备运行前沿AI的能力。

关于明略科技

明略科技（2718.HK）成立于2006年，是中国领先的Agentic Service科技企业，具备自主模型研发能力。2025年以"全球Agentic AI第一股"身份登陆港交所，两度荣获吴文俊人工智能科学技术奖，多次入选Gartner、IDC权威报告，拥有2400余项技术专利及500余项软件著作权。近年来，其AI模型在全球权威评测中屡创佳绩。依托20年技术积淀，明略科技已服务135家财富世界500强企业、约2100个品牌客户及超24万家企业用户，业务覆盖零售、消费品、汽车、3C等行业。