阿里云发布开源模型Qwen2

2024-06-07 15:54:08 北京商报网 

北京商报讯(记者 魏蔚)6月7日,阿里云发布开源模型Qwen2-72B。通义千问团队披露,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制。在中英文之外,模型训练数据中增加了27种语言相关的高质量数据。Qwen2还增大了上下文长度支持,Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。

(责任编辑:郭健东 )
看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读