在AI技术发展的浪潮中，前几年的核心趋势是打造规模更大、能力更强的模型。然而，随着模型逐步融入Agent架构和复杂工作流，一个新挑战浮现：模型能力越强，Token消耗量也越高，推理成本成为AI大规模应用必须面对的现实问题。

这一现状促使行业关注点从单纯追求模型规模，转向思考能力部署的落地场景。尽管云端仍是主要战场，但端侧AI正展现出新的可能性：如果前沿模型能突破数据中心限制，直接运行在普通用户的办公设备上，将带来怎样的变革？

这并非简单的模型压缩，而是涉及模型架构优化、硬件适配、推理框架重构的系统工程。

明略科技副总裁、多模态首席科学家赵晨旭在战略研讨会上，提出了端侧模型创新的系统性思考。基于Scaling Out技术路径，他试图破解一个关键命题：如何让尖端AI能力从云端数据中心延伸至每个人的办公终端。这或许标志着端侧AI从"支持小模型"向"承载大模型"的范式跃迁。

图片来源：明略科技

核心观点摘录：

AI能力的指数级增长背后，是Token消耗与算力成本的同步攀升。假设Fable 5这类旗舰模型完全开源，会发生什么？这个看似假设的问题正在成为现实——类似Kimi K3的开源模型已接近顶尖水平，在明略科技构建的WebRetriever评测基准中，K3在复杂协议测试中位居榜首。

这意味着"是否存在接近闭源模型的开源方案"已有了答案，但新问题随之而来：即便模型开源，企业与个人真的能用起来吗？以K3为例，其完整MoE架构包含2.8万亿参数，激活参数达千亿级别，这对普通用户而言仍是难以逾越的门槛。

因此，AI行业正面临战略转向：从追求模型规模转向探索模型应用，具体而言就是如何将强大模型拆解、适配并部署到个人电脑。这构成了端侧模型创新的逻辑起点。

从模型膨胀到价值落地

过去五年大模型发展始终围绕三个维度展开：模型架构、硬件支撑、推理框架。

在模型层面，Scaling Law主导了参数扩张路线。通过增加参数规模、训练数据与算力投入，模型能力持续提升。这种通用模型需要覆盖金融、研发、办公等千行百业的需求，导致单个模型可能集成数千亿参数与上千个专业模块。

但现实需求存在显著差异：金融从业者主要需要行业分析能力，开发者更关注代码生成与Web搜索能力，普通用户可能仅需特定场景的AI支持。这意味着通用模型中大量专业模块对特定用户属于冗余配置。

由此产生核心问题：能否从通用模型中精准提取用户所需的专业能力？如果模型得以精简，下一个挑战随即浮现：如何让精简后的模型在普通PC上高效运行？这需要模型、硬件、推理框架的协同创新。

当前行业命题已从"如何扩大模型规模"转变为"如何让强大模型触手可及"。若能破解这三个维度的难题，Token投入产出比将发生质变。

Scaling Out：精准提取专业能力的新路径

传统模型压缩主要采用蒸馏技术，在保持通用性的前提下缩小模型规模。而明略科技提出的Scaling Out方案则开辟了新思路：通过牺牲部分数据分布与专业模块的覆盖度，换取保留模块的性能完整性。

图片来源：明略科技

可将通用模型比作大圆，Scaling Down是整体缩小圆面积，Scaling Out则是从大圆中切割出与用户需求匹配的小圆。这种方法的实施包含三个关键步骤：

1. 用户画像构建：通过分析用户身份、工作任务与数据特征，构建定制化数据集

2. 专业模块识别：利用模型路由机制，统计不同任务激活的专业模块组合。例如代码任务主要激活编程模块，搜索任务激活检索模块

3. 最小化模型构建：基于模块使用频率与任务关联度，筛选出核心模块集合，重新设计路由机制并进行针对性训练

这种方案不是简单压缩模型，而是回答一个根本问题：通用模型中哪些能力是用户真正需要的？如何保留这些能力的原始性能？这为Private AI的发展奠定了技术基础——未来可能同时存在追求通用能力的AGI模型，与专注特定领域的Private AI模型。

硬件适配：让大模型在普通PC上运行

模型精简只是第一步，硬件适配才是关键挑战。当前消费级PC呈现算力与显存配置不均衡的特征：部分设备算力充足但显存不足，另一些设备内存充裕但算力薄弱。明略科技通过实际部署验证，普通办公PC已可运行120B参数级别的模型，并支持断网环境下的复杂代码任务。

这得益于硬件资源的创新组织方式：通过优化模型架构与推理框架，突破传统GPU依赖，实现CPU、GPU、内存与存储资源的协同调度。明略科技已将自研的Octo智能工作平台与OpenAI Codex集成到本地环境，完成断网运行验证。

端侧AI的准入门槛正在从"是否配备专业GPU"转变为"能否高效整合现有计算资源"。这需要模型、推理框架与硬件的深度协同，明略科技将持续推进相关技术突破。

端侧AI的价值重构：从技术可行到商业革命

当模型、硬件、推理框架的协同问题得到解决，端侧AI将带来三重价值变革：

1. 成本结构转型：AI应用从持续租赁云端算力，转变为一次性购置本地计算能力

2. 数据安全保障：模型、数据与任务全程本地化运行，满足金融、政务等高安全需求场景

3. 计算资源复用：激活存量设备的存储资源，通过新型推理框架将其转化为AI基础设施

这种变革不仅降低AI应用门槛，更将重构AI经济的价值分配逻辑。

技术路线分化：Scaling Up与Scaling Out的共生演进

AI发展将呈现双轨并行：一方面延续Scaling Up路线，持续突破模型通用能力边界；另一方面开辟Scaling Out路径，从基础模型中提取专业化能力进行本地化部署。这需要解决两个核心问题：如何实现模型与普通硬件的适配，以及如何将运行成本控制在合理范围。

从模型创新到硬件适配，再到推理框架优化，本质都是为了实现一个目标：将尖端AI能力从云端数据中心延伸至用户终端。未来的端侧AI不再局限于小模型，而是通过能力精准提取与资源智能调度，让普通设备具备运行前沿AI的能力。

这种变革不是要制造个人超级计算机，而是通过技术创新，让现有办公设备获得运行尖端AI的可能性。

关于明略科技

明略科技（2718.HK）作为中国领先的Agentic Service企业，自2006年成立以来始终致力于AI技术创新。2025年成功登陆港交所，被誉为"全球Agentic AI第一股"。公司两度荣获吴文俊人工智能科学技术奖，多次入选Gartner、IDC权威报告，累计获得2400余项技术专利与500余项软件著作权。近年来，明略科技多个AI模型在全球权威评测中取得领先成绩。依托二十年技术积淀，公司已服务135家财富世界500强企业、约2100个品牌客户及超24万家企业用户，业务覆盖零售、消费品、汽车、3C等重点行业。