人脸重演新突破,网易互娱AI Lab论文突围史上最火ECCV

2022-07-19 18:01:12 和讯 

  近日,网易互娱AI Lab论文《基于单张照片的实时高分辨率人脸重演算法》(《Face2Faceρ: Real-Time High-Resolution One-Shot Face Reenactment》)入选了人工智能国际顶会ECCV 2022。该论文创新性地提出了一种人脸重演的新方法,在保证生成质量的同时,最高可将算法速度最高提升至原来的9倍。

  ECCV是计算机视觉领域内首屈一指的顶尖国际研讨会,每两年举办一次,每一届都吸引了皆来自世界各地的顶尖专家学者参与。本届论文总投稿数达到了5803篇,再创历史新高,堪称“史上最火ECCV”。本届大会最终入选论文数量为1650篇,接收率仅为28%,不足三成,可见其竞争之激烈、难度之高。

  在网易互娱AI Lab入选的本篇论文中,研究团队创新地提出了一种能够基于单幅图片的实时高分辨率人脸重演算法,用于将驱动人脸说话时的面部表情和头部姿态实时迁移至静态图像的人脸上,从而实现对姿态和表情的“复制粘贴”。在生成效果方面,该方案相比目前常见的基于形变(warp-based)或直接合成(direct synthesis)的方法,无论是对于编辑前后的人脸身份保持、还是对于头部大姿态改变时的生成结果,都能取得甚至超越目前的已有方案;而在运行效率方面,该方案在显著降低算法复杂度的基础上,将速度最高提升至目前方案的9倍,大大降低了内存开销和生成速度。

人脸重演效果对比
人脸重演效果对比

  近年来,人脸重演技术因其在媒体、娱乐、虚拟现实等方面的应用前景而备受关注,其最直接的帮助就是能够帮助提升音视频的制作效率。去年,网易互娱AI Lab也将该技术成功应用于AI合成新闻主播制作,并与《羊城晚报》携手推出了“羊小晚”和“羊小派”两位虚拟新闻主播,帮助自动生成新闻播报视频,以降低制作成本、提升制作效率,促进新闻生产的智慧变革。

  网易互娱AI Lab成立于2017年,隶属于网易互动娱乐事业群,是游戏行业领先的人工智能实验室。除了人脸重演技术,团队在内容自动化生成方面还拥有一系列前沿的AI技术,如面部动捕、视频动捕、音乐自动生成舞蹈等,并已成功落地于《一梦江湖》、《第五人格》等多款热门游戏和项目中。未来,网易互娱AI Lab将继续持续挖掘AI技术的潜在价值、开拓更广泛的应用场景,帮助推动物理世界的全面数字化转型。

(责任编辑:郑希 )

   【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读