中国科学院推出神经外科垂直大模型 医疗机器人离自主手术还有多远?

2024-03-14 16:52:52 每日经济新闻 

在做神经外科手术时,医生不仅必须对病灶进行精确定位,同时还需要非常小心,以免损伤周围血管、神经和其他重要组织。过往,医生基本都是把病人的CT或磁共振影像等资料组合到一起来想象、凭着经验操作,这往往需要长期的经验积累。因此,神经外科手术是难度最高的手术之一,一名独立操刀神经外科手术的医生,年资普遍在20年以上。

大模型似乎找到了解决方向。3月11日,中国科学院香港创新院AI中心对外发布面向医疗垂直领域的AI多模态大模型CARES Copilot 1.0,目前可以在手术阶段自动识别病灶和解剖结构,对培训年轻医生和教学有实用价值。

临床医生是医疗大模型的受益者,也是评判员。北京协和医院神经外科主任医师、研究生导师冯铭现场演示了CARES Copilot 1.0系统后说,手术大模型和手术导航结合起来,可以为患者提供实时的解剖定位信息,提高手术安全性。不过,要实现机器人独立操作手术,还需要较长时间探索。

中国科学院香港创新院AI中心执行主任、博士生导师刘宏斌在发布会上介绍AI多模态大模型CARES Copilot 1.0 图片来源:每经记者 金喆 摄神经外科有了垂直大模型

尽管医疗大模型有近百种,但由于行业专业门槛高、容错率极低,真正落地到临床诊断的垂直大模型非常少。即便是本次发布的CARES Copilot,也只是1.0版本,主要以识别和辅助医生的功能为主。

中国科学院香港创新院AI中心执行主任、博士生导师刘宏斌在发布会上介绍,目前该系统的识别功能主要包括三个层面:首先是基于三维人体的手术室行为识别算法,能够对人体动作进行判断“他的动作是否合规”;其次是利用大模型的抽象理解能力判断手术到了什么阶段;最后是关键解剖结构识别。

在他看来,只有把识别做准确了,才有可能去辨别手术当中作出的判断是否准确,现在通过这个系统能够把一些关键的解剖结构的识别率提高到80%以上。Copilot 1.0可以在手术中为医生提供判断参考,通过辅助信息让医生操作更为安全。

《每日经济新闻》记者注意到,去年以来有超过50个平台公开发布了医疗大模型。刘宏斌说,垂直大模型难以落地临床主要有几个痛点:一方面,现在公开的大模型是用公开的资料训练出来的,临床医生参与较少,回答问题的方式和方向满足不了临床诊断需求,医生也没办法完全信任大模型给出的答案;另一方面,医生通常会使用大量文本、影像、视频等数据,很多大模型还是仅以文本语言为主。

“很多大模型回答了问题后,医生没办法确定它的内容是否准确,也不敢用。”刘宏斌表示,Copilot就是要解决这些痛点,1.0版本采用大模型加小模型的方式,可以识别、语义提取图片和文字,并进行更高级的理解。按照他的设想,Copilot 2.0版本将延伸到手术指导,像教练一样提醒和指导医生哪个阶段应该如何操作。

随着更多版本的迭代,未来可能会实现医生与机器有效配合、机器人进行一些非关键手术操作,甚至还有可能由医生书写手术计划、机器人来自主执行方案。刘宏斌也说,“但不是现阶段,估计要一定时间以后才会实现”。

冯铭表示,现在已经有些AI应用能够减轻医生的工作量,比如病例生成、部分疾病早期筛查、术后数据库的病例随访和管理。“今天发布的(大模型)更专业一些,包括跟机器人后续的结合等,能帮助到医生的,医生为什么会不愿用呢?”

他举例,如果提出术后用药的问题,Copilot会给出精准的答案,比如需要用哪些药、注意哪些激素,都是基于近五年专业的指南和共识。另外,目前用到比较多的大模型存在“幻觉”,每次提问后给的答案不一样,看起来是生成了一段话,专业的人还是能看出问题。但Copilot的答案会更标准,“真理只有一个、真相只有一个”。

医疗大模型必须足够专业,才能获得医生信任

记者也注意到,在此前的行业讨论中,国内一些医工结合的医院曾表达对AI落地的看法,对于医院方,无法信任AI的原因还是在于准确性问题。

刘宏斌介绍,目前医疗领域垂直大模型的评判标准主要是参加医学考试,在USMLE医疗行业测评中(USMLE为美国执业医师资格考试,是通往美国临床执业的唯一路径),Copilot 1.0的成绩排在第一。早前,谷歌的医疗大模型Med-PaLM2在MedQA数据集实现了86.5%的准确率。

这也是Copilot 1.0比其他公开的医疗垂直大模型做得更好的一点。同时CARES Copilot 1.0支持超过100K上下文窗口的长程注意力,能够一次性完成超过3000页的复杂手术教材的高效理解和分析,对年轻医生的培训和科研提供有力支持。

首都医科大学附属北京同仁医院神经外科主任康军说,目前看人工智能发展大致上分三个阶段:机器学习阶段、机器智能阶段和机器意志阶段。CARES Copilot 1.0这个系统是专注于神经外科应用的人工智能系统,但它还处于机器学习阶段的早期,相当于人在成长过程中的学龄前阶段。未来发展到了机器意志阶段,可能真的由机器人独立完成脑部手术操作,就是机器知道哪里需要切除、哪里需要保留,但这个阶段还需要很长的路和时间才可能达到,至少目前还只是科幻电影里的情节。

每日经济新闻

(责任编辑:王治强 HF013)
看全文
写评论已有条评论跟帖用户自律公约
提 交还可输入500

最新评论

查看剩下100条评论

热门阅读

    和讯特稿

      推荐阅读