近年来，AI领域的主旋律始终围绕着模型规模的扩张——参数越做越大、能力越来越强。然而当AI模型进入Agent化与复杂工作流阶段后，一个核心矛盾逐渐显现：模型能力与推理成本呈现指数级正相关，如何实现AI技术的规模化落地成为行业必须破解的算力困局。

这种转变促使产业焦点从单纯追求模型规模，转向思考技术落地的最优路径。虽然云端仍是主要战场，但端侧AI正孕育着颠覆性变革：当最前沿的模型突破数据中心边界，真正融入普通用户的办公场景，将会引发怎样的技术革命？

这绝非简单的模型压缩游戏。从专家模块的精准裁剪到异构硬件的深度适配，从推理框架的革命性重构到算力资源的动态调度，每个环节都需要系统性创新。

明略科技副总裁、多模态首席科学家赵晨旭在战略研讨会上提出的端侧创新理论，正试图解答这个时代命题：如何通过技术架构创新，让旗舰级AI模型从云端走向个人终端。这或许标志着端侧AI从"能运行小模型"向"承载大模型"的关键范式转型。

图片来源：明略科技

核心观点摘录：

当AI能力持续突破的同时，其背后的Token消耗与算力成本已形成不可忽视的运营负担。试想这样一个场景：如果Fable 5级别的旗舰模型完全开源，产业界能否真正消化这种技术红利？

这个假设正在成为现实。以Kimi K3为代表的开源模型已展现出惊人实力，在明略科技构建的WebRetriever评测体系中，该模型在复杂协议测试中力压群雄。这印证了一个趋势：接近顶尖闭源模型的开源方案已现雏形。

但技术可用性面临新挑战：K3模型2.8万亿参数的完整MoE架构，即便开源也远超普通企业的部署能力。这预示着AI产业将进入新阶段：从模型规模的军备竞赛，转向技术落地的精准突破。

以K3为例，其千亿级激活参数对硬件提出严苛要求。如何将这种庞然大物拆解重构，使其能在消费级PC上运行，成为端侧创新的核心命题。

这正是明略科技提出端侧模型创新的战略背景。

技术演进逻辑：从Scaling Up到Scaling Out

图片来源：明略科技

回顾大模型发展史，技术演进始终围绕三个维度展开：模型架构、硬件支撑、推理引擎。

在模型层面，Scaling Law主导了技术路线，参数规模、数据体量、算力投入持续攀升。这种扩张背后是通用模型的定位：要同时服务金融分析、代码生成、科学计算等千行百业，必然需要海量专家模块支撑。

某旗舰模型的参数规模突破万亿级，内置专家模块超过千个，正是这种技术路线的典型产物。

但现实需求存在显著差异：金融从业者更需要专业领域知识，研发人员则关注代码生成能力。对于具体用户而言，真正需要的可能只是大模型知识库中的冰山一角。

这种需求分化催生新问题：能否从通用模型中精准提取用户所需的专业能力？这种能力裁剪是否能在保持性能的同时实现模型瘦身？

当模型规模与硬件能力出现错配时，新的技术命题浮现：如何通过架构创新让裁剪后的模型在普通PC上运行？这需要模型、硬件、推理框架的协同创新。

技术范式的转变已清晰可见：过去追求模型规模的绝对增长，现在更关注技术落地的边际效用。当这三个维度形成闭环，Token的投入产出比将发生质变。

Scaling Out：精准裁剪的模型革命

面对模型瘦身需求，传统蒸馏技术（Scaling Down）通过压缩模型保持通用性，但会牺牲部分专家能力。明略科技提出的Scaling Out方案则另辟蹊径：

该技术路线愿意牺牲部分数据分布的完整性，但要求保留的专家模块保持原始性能。就像从大圆中精准切割出与用户需求匹配的小圆，实现能力与成本的平衡。

图片来源：明略科技

具体实施包含三个关键步骤：首先通过用户行为分析构建专属数据集，其次利用模型路由机制识别任务相关的核心专家，最终形成最小化专家集合。

以代码生成场景为例，系统会统计Coding任务激活的特定专家模块，结合Web搜索等关联任务的专家调用情况，构建出精简但完整的能力图谱。

这种筛选机制可将万亿参数模型压缩至原有规模的1/10，同时保持关键任务的处理能力。经过路由机制重构和微调训练，最终形成适合端侧部署的专业模型。

这种技术路线不仅实现模型压缩，更重新定义了能力边界：用户获得的不是通用模型的简化版，而是精准匹配需求的专业系统。这为Private AI的发展奠定了技术基础。

未来AI生态可能呈现双轨发展：云端持续追求通用AGI的突破，端侧则涌现大量面向垂直场景的Private AI。这些专用模型不需要掌握全球知识，只需具备特定领域的专家能力。

硬件协同：让普通PC运行旗舰模型

模型瘦身只是第一步，硬件适配才是真正挑战。当前消费级PC呈现算力与显存的错配特征：部分设备CPU性能过剩但显存不足，另一些则内存充足但缺乏AI加速能力。

明略科技的突破性实践显示，通过异构计算架构创新，普通办公PC已能运行120B参数级模型。在断网环境下，这种端侧系统可独立完成复杂代码生成任务，验证了技术路线的可行性。

这种变革背后是计算范式的转变：端侧AI的门槛从GPU配置转向资源调度能力。如何动态分配CPU、GPU、内存和存储资源，成为决定端侧性能的关键因素。

在实际部署中，明略科技将自研的Octo智能工作平台与OpenAI Codex进行本地化集成，构建出完全离线的AI开发环境。这种架构创新使13代酷睿笔记本就能流畅运行大模型，颠覆了传统认知。

技术团队透露，通过存储计算分离架构和智能缓存机制，系统可充分利用SSD扩展显存空间，使普通PC的模型承载能力提升3-5倍。相关技术成果将于近期正式发布。

端侧价值：重构AI经济模型

当模型、硬件、推理框架形成闭环，端侧AI将创造三重价值：

首先是经济模型的转变。传统云端AI采用按Token付费模式，本质是持续租用算力。端侧部署则实现计算能力的永久拥有，将运营成本转化为资本支出。

其次是数据安全保障。对于金融、医疗等敏感领域，端侧AI提供物理隔离的解决方案，确保模型、数据、任务全程留存本地，消除云端传输的风险隐患。

最后是存量资源激活。企业现有设备中沉睡的存储和计算资源，可通过新型推理框架转化为AI基础设施。某银行案例显示，其五年前的办公电脑经升级后，端侧AI性能提升达400%。

安全与效能的双重突破

端侧AI的安全价值在特定场景尤为突出。某军工企业采用明略科技方案后，实现研发数据的完全本地化处理，既满足保密要求又提升开发效率。这种模式正在向政务、医疗等领域快速复制。

在资源利用方面，端侧创新开辟了新的优化空间。通过存储计算协同优化，系统可将SSD作为扩展显存，使普通PC的模型承载能力突破175B参数门槛。这种技术突破使80%的现有设备无需硬件升级即可运行大模型。

技术双轨制：Scaling Up与Scaling Out并存

AI技术发展正在形成新格局：云端持续推进Scaling Up路线，追求通用能力的极限突破；端侧则沿着Scaling Out路径，实现专业能力的精准落地。这种双轨制将重塑AI产业生态。

明略科技的技术路线图显示，未来三年将实现三大目标：将旗舰模型的专业能力压缩90%以上，使95%的现有设备具备端侧AI运行能力，将推理成本降低至云端方案的1/5。

这种变革不是要替代云端AI，而是构建更完整的AI技术矩阵。就像智能手机与超级计算机的关系，端侧AI将使前沿技术真正融入日常办公场景。

最终目标不是制造AI超级终端，而是通过技术创新让现有设备焕发新生。当每台办公电脑都具备运行专业模型的能力，AI技术普及将进入全新阶段。

关于明略科技

明略科技（2718.HK）作为中国领先的Agentic Service科技企业，自2006年成立以来始终站在AI技术前沿。2025年成功登陆港交所，被誉为"全球Agentic AI第一股"。公司两度荣获吴文俊人工智能科学技术奖，连续多年入选Gartner、IDC权威报告，累计获得2400余项技术专利及500余项软件著作权。

依托二十年技术积淀，明略科技已构建起覆盖零售、消费品、汽车、3C等行业的AI服务矩阵，服务客户包括135家财富世界500强企业、约2100家品牌客户及超24万家企业用户。其自主研发的多模态大模型在全球权威评测中持续保持领先，为端侧AI创新提供了坚实的技术底座。