阿里云发布开源模型Qwen2

北京商报讯（记者 魏蔚）6月7日，阿里云发布开源模型Qwen2-72B。通义千问团队披露，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B为混合专家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分组查询注意力）机制。在中英文之外，模型训练数据中增加了27种语言相关的高质量数据。Qwen2还增大了上下文长度支持，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。