模型奔着5万亿参数去了 超节点成关键竞争点

模型参数量的快速增长推动了国产芯片生态在“系统级主权”竞争中的快速发展。这一趋势在世界人工智能大会（WAIC）上尤为明显。

Kimi在WAIC前夕发布了2.8万亿参数的全球最大规模开源模型。多名业界人士预测，模型参数量还会继续增加。要支持大参数模型的训练和推理需求，不仅需要单张算力卡性能迭代，还需要对算力集群进行系统级优化，超节点成为关键环节。今年的WAIC展会上，华为、新华三、燧原科技、沐曦、摩尔线程、中兴、阿里、昆仑芯等多家厂商展示了超节点产品，壁仞也发布了新一代超节点方案。

随着模型规模的增大，算力系统的性能必须随之提升。壁仞科技AI框架架构副总裁丁云帆表示，明年可能会出现5万亿参数的模型。沐曦股份研发副总裁黄向军解释说，7000多亿至1万亿参数的模型采用典型的PD分离部署时，P和D节点分别用16张左右的算力卡就能支持，但当参数量超过万亿，所需算力、显存容量和卡的数量都会成倍增长。算力卡数量增加后，协同成为影响性能的关键因素，超节点通过统一卡间、机间通信带宽等方式降低沟通成本，让大量算力卡如同一台计算机一样运行，从而提高整体性能。

随着模型所需的算力集群增大，特别是在十万卡算力集群中，超节点的重要性更加突出。摩尔线程高级副总裁董龙飞指出，万卡集群尚可以不用超节点，但十万卡集群不能靠堆砌1000台服务器来运行，需要将多个超节点组成POD，再由多个POD组成集群。混合专家模型架构的特点和长文本处理也需要多个算力卡、服务器作为一个紧密连接的整体运行。超节点成为刚需，关键在于满足专家并行高互连要求，提升带宽和通信能力。