4月15日，由北电数智精心策划的第二届酒仙桥论坛在北京盛大开幕。

《徽声在线》记者在论坛现场观察到，中国工程院院士、清华大学计算机科学与技术系的杰出教授郑纬民发表了重要观点，他指出，我国在Token（词元）的消耗量上，近两年内实现了惊人的千倍增长。

然而，郑纬民院士也坦言，当前的AI算力基础设施在高效生产Token方面仍显力不从心；实际Token的产能受限于系统优化的不足，导致能耗高而产出低，形成了明显的困局。

图片来源：徽声在线记者 杨卉摄

在郑纬民院士的视角中，AI竞赛的核心标准正经历着从MaaS（模型即服务）向TaaS（Token即服务）的深刻转变。他强调，未来应推动Token服务向标准化、分层化与可调度化的方向发展，依据业务目标对产能进行精细化的分层定价与调度。不能将所有计算负载都集中在价格高昂的GPU资源上，而应将大模型的参数合理分配至不同的计算资源，实现计算、缓存、状态保存与数据搬运等职能的分离与优化，从而大幅扩大可用计算资源池，充分利用异构设备，通过底层架构的优化实现智能服务的高效、低成本生产。

“当前AI算力基础设施在词元生产效率上仍有待提升”

郑纬民院士提到，前几年，大模型的研究与开发是业界的热点，而从去年开始，Token逐渐成为了新的风口。那么，Token究竟是什么呢？

郑纬民院士解释道，Token是介于硬件与应用之间的AI处理信息的最小语义单元。例如，“人工智能很强大”这句话，会被分割成“人工”、“智能”、“很”、“强大”四个Token。

“你与AI的每一次输入对话，以及AI生成的每一段输出内容，都是通过Token来计量信息的处理量的。”郑纬民院士进一步阐述。此外，Token还是计算量的直观反映，是AI运行时算力消耗的基本计量单位，更是AI服务的计价标准。

郑纬民院士认为，Token日益重要的背后，是AI使用方式的深刻变革。

据他介绍，在生成式AI时代，计算的消耗主要集中于输入、输出式的单词请求。而到了智能体时代，智能体需要自主围绕目标持续执行任务链，实际消耗的Token数量远超预期，甚至达到了“100倍”级别的增长。郑纬民院士还强调，一旦未来智能水平实现新的突破，Token的消耗量还可能会攀升至新的高度。

郑纬民院士透露，我国Token的消耗量已经从2024年的日均千亿激增至如今的140万亿Token/天，两年内实现了千倍的增长。然而，随着Token消耗量的急剧上升，新的问题也随之浮现：当前的AI算力基础设施在高效生产Token方面仍显不足；基础设施主要服务于大模型的训练，而非实际应用中的持续性服务；实际Token的产能受限于系统优化的不足，陷入了高耗能、低产出的尴尬境地。

在郑纬民院士看来，如果仅仅将开源模型和开源推理框架进行静态堆叠，而缺乏物理硬件层面的深度优化与系统级调度，那么昂贵的算力就会在链路中的各类瓶颈处被持续损耗，如批处理与并发策略的失衡、跨节点通信与调度的不协调、显存与系统内存配置的不匹配等。

依据业务目标实现产能的分层定价与精细调度

郑纬民院士进一步指出，MaaS（模型即服务）一直是AI产业链中的重要一环。但随着AI进入规模化执行阶段，单纯的模型接入已经无法满足高效能供给的需求。这意味着未来AI竞赛的核心标准正在从MaaS向TaaS跃迁；从“比拼算力集群规模”彻底转向“比拼每瓦Token的生产效率”。

在郑纬民院士的设想中，未来的TaaS将作为Agent时代生产智能的新型工业级服务体系，不仅能够为产业释放创新活力、为全国一体化算力网盘活存量资源，更能推动高质量智能服务的普惠可及，让智能生成像水电一样实现稳定调度与供给，真正开启普惠智能的新时代。

郑纬民院士还介绍，当前的Token服务类型多样，包括适用于实时交互、自动驾驶等对延迟敏感场景的极低时延型；支持长上下文处理，适用于复杂Agent推理、多轮对话等场景的均衡通用型；以及大规模离线处理，适用于数据清洗、研报生成、模型微调等批量任务的高吞吐低成本型。他强调，未来Token服务还需实现标准化、分层化与可调度化，将大模型参数合理分配至不同的计算资源上，以降低成本并提高性能。按业务目标对产能进行分层定价与调度，是Token服务走向基础设施化的重要前提。

在谈到调度问题时，郑纬民院士进一步指出，要实现全系统的“异构协同”，就不能将所有计算负载都集中在价格高昂的GPU资源上。而应实现计算、缓存、状态保存与数据搬运等职能的分离与优化，将可用计算资源池大幅扩大，充分利用异构设备。

“过去，我们致力于建设模型；而今天，我们要建设智能供给体系。从模型服务走向Token服务，是Agent时代对基础设施的必然要求。只有当智能生成像水电一样，被稳定调度与供给在算力之上，Token为王的普惠智能时代才算真正到来。”郑纬民院士总结道。