GTC大会发布快手大模型训练解决方案可支持百万级超长文本

2024-03-22 12:30:00 新浪网 

新浪科技讯 3月22日午间消息,近日,英伟达GTC大会上公布了快手的大模型训练解决方案,沿着大模型训练热点演进过程,分享了在计算通信重叠系列优化和超长文本场景下的最佳实践,通过计算通信重叠、异构存储利用、通信资源管控、算子优化等手段,可支持百万级别超长文本训练,并且在训练性能上比 sota 开源方案快 30% 以上。


(责任编辑:王治强 HF013)
看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读

        【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。