1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，目标是探索 AGI 的新方法，其中“Seed”是豆包大模型团队名称，Edge 代表最前沿的 AGI 探索。 该项目团队近日发布了其最新的研究成果：一项针对 MoE 架构的关键优化技术 ...

消息面上，3月10日，豆包大模型团队发布了针对MoE（混合专家模型）架构的通信优化系统COMET，该方案通过细粒度计算-通信重叠技术，助力大模型训练优化。据豆包大模型团队介绍，COMET已实际应用于万卡级生产集群，累计节省了数百万GPU（图形处理器）小时资源。豆包大模型团队称，COMET这一创新在大规模MoE模型上可达到单层1 ...

在人工智能迅猛发展的现代社会，技术革新不断推动AI行业的升级与变革。2023年3月10日，豆包大模型团队发布了显著的创新方案COMET，专门针对混合专家模型（MoE）架构进行通信优化。随着AI大模型的广泛应用，对计算效率和资源的需求日益攀升，COMET的推出被视为提升AI模型训练效率的关键一步。这项优化技术不仅提升了计算资源的利用率，而且显著减少了训练时间，为整个行业带来了更高的生产力。

3月10日，豆包大模型团队宣布推出一项创新的通信优化系统COMET，该系统专为混合专家模型（MoE）架构量身打造，并致力于通过细粒度计算-通信重叠技术来优化大模型训练。根据豆包团队的介绍，COMET已在数个万卡级生产集群中得到了实际应用，帮助节省了数百万GPU（图形处理器）小时的资源。这一技术的推出不仅为大规模机器学习模型的训练提供了显著的效率提升，同时标志着人工智能技术的进一步成熟。

DeepSeek通过MoE架构的创新让激活参数比大幅下降，使得同等效果的大模型所需的算力明显下降。“671B的模型，在处理每个问题时，被调用激活的专家模型参数仅约37B，算力需求起码降低到原来的约二十分之一。”阿里云无影事业部总裁张献涛曾在接受《每日 ...

字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型 (MoE)架构的关键瓶颈，并开源一项名为COMET的重大优化技术。该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。

新浪科技讯 3月10日晚间消息，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。 MoE 是当前大模型的主流架构，但其在分布式训练中存在大量跨设备通信开销，严重制约了大模型训练效率和成本。以海外主流模型Mixtral-8x7B为例， 其训练过程中通 ...

每经记者：蔡鼎 每经编辑：高涵｜2025年3月11日 星期二｜NO.1 字节开源MoE架构优化技术，训练成本省40% 字节跳动豆包大模型团队官宣开源一项针对MoE（混合专家模型）架构的关键优化技术，可将大模型训练效率提升1.7 ...

品玩3月11日讯，据界面新闻报道，字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术，可将大模型训练效率提升1.7倍。 论文显示，该技术已实际应用于字节的万卡集群训练，实现数百万GPU小时训练算力的节省。

据上证报中国证券网报道， 3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。

字节跳动旗下豆包大模型团队10日官宣开源一项针对MoE架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40％。该技术已实际应用于字节的万卡集群训练，累计帮助节省数百万GPU小时训练算力。

3 月 10日，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。 MoE ...