大模型竞赛告别“一味扩容”

近年来，AI大模型发展迅速，那么该如何衡量其“智能水平”？清华大学的研究团队近日提出了一种新指标——能力密度法则，并将相关成果发表在《自然·机器智能》期刊。该法则揭示，自2023年2月到2025年4月，大语言模型的能力密度呈现出指数式增长，平均每3.5个月提升一倍。

众所周知，摩尔定律指出，芯片上的晶体管数量会不断翻倍。芯片的强大并非取决于体积，而在于极小空间内的高密度集成。清华大学计算机系助理研究员肖朝军介绍，衡量大模型能力同样需要新标准，这就是他们提出的“能力密度”。

团队的核心观点是：只要使用相同的训练方法，充分训练下的不同规模模型，其能力密度应该是相同的。这类似于通过增加电路密度推动芯片发展，如今提升模型能力密度也正在推动AI高效进步。

肖朝军进一步解释，以往大家关注大模型的参数数量，认为参数越多模型越强，就像比拼运动员的体重。但密度法则则强调，每个参数中蕴藏的能力才真正决定了模型的智能程度。就像高手不仅靠肌肉，而是依靠一招一式的深厚功力。

该团队对过去几年发布的51种开源模型进行了细致分析，发现最大能力密度的指数增长规律尤为显著。换言之，只需更少的参数便能达到同样的智能水平，这背后正是数据、算力与算法的共同进步带来的成果。

此外，团队还给出了一些有趣推论。例如，拥有同样能力的模型，其推理所需的计算开销正在快速减少，能力密度增长明显加速。数据显示，ChatGPT问世前，能力密度翻倍需约4.8个月，问世后则缩短至3.2个月，增长速度提升了将近一半。由此可见，开源和技术成熟正在推动能力密度持续加快提升。

肖朝军表示，从实际效果来看，能力密度越高，模型越聪明，运行成本也越低。以此为基础，未来在学术和产业层面能够推动更多技术创新，也让更多人能够享受到大模型带来的便利。

对于实际应用而言，密度法则的提出意味着大模型正向更广泛的场景扩展。肖朝军举例说，芯片电路密度与模型能力密度的不断提升，使得大模型不再只能运行在云端。未来，即使是在普通终端设备上，也能顺利部署和运行大模型，这不仅提升响应速度，还能更好保护用户隐私，为用户提供更加丰富的服务。

以智能汽车为例，过去车载AI主要被动响应指令，比如“帮我开车窗”或“查找餐厅”。但当大模型可以本地运行后，车辆AI能够根据舱内外数据进行主动决策，实现更高级的环境融合与智能服务，让驾驶体验更加智能化和个性化。

记者 张盖伦