郭明錤解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低

2024-06-12 17:35:33 凤凰网 

凤凰网科技讯(作者/周文浩)6月12日,天风国际证券分析师郭明琪近日发布报告称,从配备A16的iPhone 15无法支持Apple Intelligence,但M1的机型可以支持,这推论出能否支持目前Apple Intelligence装置端模型的关键应该是DRAM大小,而较不是AI算力(TOPS)。

郭明琪表示,M1的AI算力约为11 TOPS,低于A16的17 TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。

他进一步指出,Apple Intelligence采用端侧3B LLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。

郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3B LLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7B LLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。

(责任编辑:刘静 HZ010)
看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读