随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁。华为云新一代昇腾AI云服务基于CloudMatrix384超节点，首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联，形成一台超级“AI服务器”，单卡推理吞吐量跃升到2300Tokens/s。超节点架构能更好地支持混合专家MoE大模型的推理，可以实现“一卡一专家”，一个超节点可以支持384个专家并行推理，极大提升效率。同时，超节点还可以支持“一卡一算力任务”，灵活分配资源，提升任务并行处理，减少等Kaiyun平台 开云体育官方入口待，将算力有效使用率(MFU)提升50%以上。
新浪与华为云深度合作，基于Kaiyun平台 开云体育官方入口CloudMatrix384昇腾AI云服务，为“智慧小浪”智能服务体系构建了统一的推理平台，底层由昇腾AI算力提供支持。推理的交付效率提升了超过50%，模型上线速度成倍加快;通过软硬协同调优，NPU利用率提升超过40%，每一份资源都得到更高效的使用。