面壁智能首席科学家刘知远:提升知识密度是实现高效大模型的方向

2024-07-05 16:12:17 每日经济新闻 

大模型也有自己的“摩尔定律”?2024世界人工智能大会期间,深耕端侧大模型的清华大学计算机系长聘副教授、面壁智能首席科学家刘知远分享了他的研究思路:“如果拥有在端侧有限的算力、内存、能耗条件下,将知识浓缩到更小的参数规模中的能力,那么便可探寻大模型的高效成长规律。”

图片来源:每经记者 张韵 摄

在训练大模型之前,刘知远会在“模型沙盒”中做成百上千次演练。他解释道,在小模型上高效寻找最优数据和超参配置,并外推至大模型,可找到一个更高的知识密度,从而带来一个更加高效的模型。

刘知远认为,如果说芯片制程会带来终端算力持续增强,模型制程也将带来模型知识密度的持续增长,那么两者交汇将揭示端侧智能的巨大潜力。因此,大模型时代会拥有自己的“摩尔定律”,即模型知识密度的持续增强。据刘知远观察,模型的知识密度呈现出每8个月提升一倍的规律。

刘知远进一步得出结论,未来高效大模型第一性原理的关键词便是知识密度,也就是每一次计算依托的参数规模所对应的能力消耗。当大模型数据驱动技术方向大致确定,模型的架构、算法、数据等技术方案却仍在高速迭代,因此持续改进模型制程、极致提升知识密度成为行业努力的方向。

每日经济新闻

(责任编辑:王治强 HF013)
看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读