阿里发布下一代基础模型架构Qwen3-Next
发布日期:2025-10-17 08:47 点击次数:171
据通义千问Qwen官微消息,阿里发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。
据介绍,该结构相比Qwen3的MoE模型结构,进行了以下核心改进:混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化,以及提升推理效率的多token预测机制。Qwen3-Next-80B-A3B-Base模型拥有800亿参数,激活参数仅30亿,实现了与Qwen3-32B dense模型相近甚至略好的性能,而训练成本仅为Qwen3-32B的十分之一不到。
举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部:banquan@yicai.com 相关阅读
谈超级人工智能之路,吴泳铭称阿里目标是打造AI时代的操作系统自然语言可能就是未来AI时代的编程语言。
150 09-24 11:20
上半年新增品牌数量同比增长70%,速卖通发力品牌出海让商家用在亚马逊一半的成本,在重点市场实现更高的成交。
69 09-23 21:27
DeepSeek-V3.1版本更新此次更新在保持模型原有能力的基础上,针对用户反馈的问题进行了改进。
49 09-22 21:41目前, LongCat-Flash-Thinking已在HuggingFace、Github全面开源。
103 09-22 14:10本次论文正面回应了模型发布之初的蒸馏质疑。
312 09-18 07:03 一财最热 点击关闭