记者从华为公司获悉，华为日前在MoE模型训练领域再进一步，推出参数规模高达7180亿的全新模型——盘古Ultra MoE。这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时还发布了盘古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节，充分体现了昇腾在超大规模MoE模型训练性能上的跨越。
业界专家表示，训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型的全流程训练。
据介绍，在模型架构上，盘古团队提出DSSN稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。同时，盘古Ultra MoE使用了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。
在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上，高效打通大稀疏比MoE强化学习(RL)后训练框架的关键技术，使RL后训练进入超节点集群时代。同时，在5月初发布的预训练系统加速技术基础上，不到一个月时间内，华为团队又完成了一轮迭代升级，包括适配昇腾硬件的自适应流水掩盖策略、自适应管理内存优化策略的开发，以及昇腾亲和的算子优化等，这些技术实现万卡集群预训练MFU(模型算力利用率)由30%大幅提升至41%。
此外，近期发布的盘古Pro MoE大模型，在参数量仅为720亿、激活160亿参数量的情况下，通过动态激活专家网络的创新设计，实现了以小打大的优异性能。
业内专家表示，华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，说明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践，同时在集群训练系统的性能上也实现了业界领先，国产人工智能基础设施的自主创新能力得到了进一步验证，这为中国人工智能产业的发展提供了有力支撑。(记者 吴蔚)
华工团队致力于提升荔枝附加价值 为助农富农事业贡献力量
南都讯 记者孙小鹏 面对荔枝存在的加工规模、技术能力不足等情况，该怎么办呢？日前，南都记者从华南理工大学获悉，该校“梅荔生活”团队近年来一直深入一线调研，深入探究加工过程中存在的技术瓶颈与流程问题；同时研发出多物理场荔枝加工技术，促使荔枝果醋的年产量大幅提升90%，直接带动陆河当地超过300名农户返
2025-07-12 20:08:00 实时讯息
微创“拆弹”巧矫形 逢“胸”化吉展“心”篇
7月6日，娄底市中心医院手术室里，一场高难度的“拆弹”手术正在紧张进行。广州医科大学附属第一医院（以下简称广医一院）党委副书记、胸外科主任刘君教授团队与娄底市中心医院心胸大血管外科团队联手，通过仅3厘米的切口，成功为患者切除纵隔巨大肿瘤，一次性解决三项病变。当天，专家团队还为一名12岁“漏斗胸”患儿
2025-07-11 18:01:00 实时讯息
Manus跑路了吗？
Manus，真的从国内撤了？！4个月前一夜蹿红起飞的AI Agent产品Manus，刚被曝出背后公司一举裁掉国内七成团队。事实上，Manus总部已在5月搬到了新加坡，国内员工何去何从？现在答案终于落定，一言以蔽之：大刀阔斧地裁员。Manus国内团队约120人，仅有核心研发团队40人迁往新加坡，其余约
2025-07-10 17:26:00 实时讯息
松山湖崛起科学城
近日，记者走进广东省东莞松山湖科学城，探寻广东创新密码。“我们团队是2014年前后来到松山湖的，那时眼前是一片荔枝林。”广东逸动科技有限公司联合创始人兼COO潘宗良回忆。如今，昔日的荔枝林已经成为粤港澳大湾区科技创新版图上的耀眼坐标，松山湖科学城已成长为粤港澳大湾区综合性国家科学中心先行启动区。这里
2025-06-29 07:10:00 实时讯息
特朗普：耐心已经耗尽，要求伊朗“无条件投降”
特朗普召集国安团队讨论以伊冲突美国总统特朗普17日下午在白宫召集国家安全团队开会，讨论以色列与伊朗正在持续的军事冲突。多家美国媒体报道，特朗普正考虑一系列选项，包括加入以色列对伊朗的空袭。报道说，特朗普在白宫战情室与国安团队成员商议对策，会议持续一个多小时。白宫会后暂时没有发布更多会议内容。据报道，
2025-06-18 08:13:00 实时讯息