消息面上,3月10日,豆包大模型团队发布了针对moe(混合专家模型)架构的通信优化系统comet,该方案通过细粒度计算-通信重叠技术,助力大模型训练优化。据豆包大模型团队介绍,comet已实际应用于万卡级生产集群,累计节省了数百万gpu(图形处理器)小时资源 ...