简介

  • 阿里巴巴的Qwen团队将于周三发布Qwen 3.8-Flash-Next,这是一个混合专家模型,被描述为Qwen4架构的预览版。
  • 团队在发布前的简报中称,该模型总参数为1250亿,但每个token仅激活60亿参数。
  • 目前尚未公布硬性基准测试分数,且截至本文撰写时,权重尚未在ModelScope上发布。

阿里巴巴将于周三发布Qwen 3.8-Flash-Next,这是一个拥有1250亿参数的模型,每个token仅激活60亿参数。Qwen团队将其定位为下一代Qwen 4架构的预览版,而非最终旗舰模型。

目前没有关于该模型的官方信息,但根据传闻,它很可能是一个混合专家系统,这种设计将网络拆分为许多专门的子模型,并且每个任务只激活相关的子模型。因此,一个1250亿参数的模型可以以仅60亿参数的计算成本运行。