3月10日 信息，据报导，字节跳动旗下豆包大模型团队近日 宣告了一项关于混合专家(MoE)架构的主要技术 打破，并决定将这一 成绩开源，与 寰球AI社区共享 。

这一技术通过一系列创新 步骤， 顺利将大模型的训练效率 晋升了约1.7倍，同时卓著减低了训练成本，降幅高达40% 。这一 打破为大规模模型训练提供了更高效、更经济的解决 方案 。

该技术已在字节跳动的万卡集群训练中得到实际 利用 。内部数据显示，自采纳该技术以来，已累计 节俭了数百万GPU小时的训练算力 。这不只验证了技术的实际 动机，也进一步凸显了字节跳动在AI技术研发领域的率先地位 。

关于此次开源的决定，豆包大模型团队 指望通过分享这一技术，推进整个AI社区在模型训练效率方面的一起 遍及 。开源不只有助于加快行业技术进展，还能为更多探究者和开发者提供珍贵的资源，进一步推进人工智能技术的创新与 利用 。

开源地址：https://github.com/bytedance/flux

免责声明：凡标注转载/编译字样内容并非本站原创，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。