0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI+5G,第一次成功完成远程指导下的心脏病手术

DPVg_AI_era 来源:lp 2019-04-08 09:57 次阅读

刚刚,广东省人民医院与广东高州市人民医院完成全国首例AI+5G手术,成功为心脏病患者“补心”。手术期间的AI技术是由曾靠“贪心算法”成功追回被抢车的圣母大学计算机系终身副教授史弋宇团队提供。这次手术也是AI在临床上的一次落地应用。

AI+5G,第一次成功完成远程指导下的心脏病手术。

刚刚,广东省人民医院与广东高州市人民医院共同上演一场直播“大片”:

高州市人民医院心外手术室里,医生主刀进行心脏腔镜手术;在相隔近400公里外的广东省人民医院,专家通过观看大屏幕上5G传输的实时超高清手术画面,对高州市的手术进行远程指导。

在这场手术前,医院使用到了自主研发的全自动AI去噪以及建模软件,一键完成建模,耗费时间从2-6小时缩短至两分钟以内,并自动生成3D打印机可识别的3D数字心脏模型(STL格式),直接用来打印出实体1:1心脏模型。

值得注意的是,手术的AI技术部分是由广东省人民医院特聘顾问史弋宇教授带领团队参与。史弋宇是圣母大学计算机系终身副教授,博士生导师,并兼任电子系终身副教授。

史弋宇

今年1月初,新智元报道过史弋宇教授被两名劫匪抢去汽车,在不到24小时之内,靠手机发动应用程序和“贪心算法”成功将车找回,新智元的读者应该有深刻印象。

这次参与全国首个AI+5G手术,史弋宇筹备了一年时间,手术成功也让AI在医疗领域更加落地。

患者情况:先天心脏病,心脏出现孔

接受AI+5G手术的是一位41岁的女性患者,据医生介绍,这名患者有先天心脏病,近期因“劳力性心悸、气促10余天”入院。经过心脏彩超和右心导管等检查发现,患者诊断为继发孔型房间隔缺损。

房间隔缺损本来是简单先心病,如果在小时候做开胸手术,操作上是相对容易,而且风险很低的。但是这位患者已经41岁,出现了重度肺动脉高压,开始出现心力衰竭,病情已经从简单先心病转变成复杂的成人先心病,简而言之心脏没有正常的发育,形成了一个缺损,就是我们所说的心脏里面出现一个孔。

模型演示患者的心脏中间出现一个孔(摄影:邱海龙)

这个孔的存在会导致病人心脏左心房的血会持续往右心房分流,加重右心房的整个心脏的负荷,也会加重肺循环的负荷,久而久之,心脏也就会持续扩大,肺动脉的压力也会持续的增高。

通过3D打印出来的1:1心脏模型可以看到,患者的心脏比正常人的偏大,而正常人的心脏大约有一个拳头那么大。

通过影像也可以观察到,患者的心脏占据了整个胸腔的2/3以上。

由于房间隔缺损一直伴随患者41年,错过了治疗的最佳时期,因此无法进行常规的心脏手术矫治,最严重的结果可能会导致心肺联合移植甚至是死亡。

同时,患者的心肺功能衰竭到已经出现症状,因此术中的操作必须仔细,心肌保护要到位,围术期的管理也是挑战,再加上是胸腔镜下做手术,对医生的手术操作是较大的考验。

准备阶段:AI三维建模只需2分钟

对于这次手术,广东省人民医院可谓用上了目前最热门的“黑科技”,其中多项技术均已申请专利进行知识产权保护。史弋宇教授负责参与AI部分,主要用于术前准备阶段。

1、图像压缩

医院把影像采集下来以后,要进行实时影像传输,史弋宇教授联合佛罗里达国际大学闻武杰教授先做一个面向机器学习的影像压缩,在数据接收端会自动对影像进行去噪,然后分割、建模。

影像压缩的出发点和传统的压缩(比如JPEG)不同,JPEG是针对人的视觉的,要保证压缩后没什么视觉上的损失。而该工作做的压缩是为了AI建模,不以人的视觉作为标准,而是针对计算机视觉的影像压缩。

通过压缩,接收的图像体积变小了,而且图像分割的准确度得到了提升,压缩率提升3倍,且能提升分割效果。

关于影像压缩的成果,论文将会发表在今年6月的CVPR上。

论文题目:Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

2、AI去噪

在上面的图像压缩过程中,还包含了一部分去噪技术。因为这里的图像是用来建模的,所以在压缩的过程中,同时把一部分噪声也去掉了。在去噪方面,使用了注意力神经网络,能够集中注意到图像里的噪声。

史教授团队对每一例影像进行自动去噪,最后的结果直接进行自动建模,不需要人工干预。这样就可以把心脏的模型建成一个可3D打印的模型。

3、机器学习和传统计算机视觉的混合建模

对于结构性心脏病患者来说,他的心脏结构可能跟正常的心脏差别很大,所以史教授团队用了机器学习加传统计算机视觉的方法。对于心脏结构比较变化大的,用一些传统计算机视觉的方法;关于心脏的一些精细结构,使用人工智能与传统计算机视觉方法的混合架构。

整个心脏的三维建模时间大概是2分钟,而且准确度在先天性心脏病上也比传统方法的70%提升了12%。如果使用传统3D建模方法,大概需要几个小时时间。

这个模型的直接作用有两个。第一个作用是让医生在术前准备的时候,会把这个模型用3D打印出来,供医生在术前准备时参考,能够直观地看看患者心脏到底是什么样的,有些什么问题。

模型的另外一个重要作用是,让术中进行远程指导的医生,能够通过VR和MR技术,利用传输过来的实时影像以及之前的建模,能够实时、动态地指导目前的手术的进展。

在本场手术中,医院采用的是3D建模方法,指导心内手术操作非常直观;但是在某些情况下,比如一些急诊重症病人,来不及进行3D打印,就可以实时用VR的虚拟心脏来指导,也很直观。

下图可以显示AI在手术中起到的作用:

手术过程:VR演示补心术

准备工作之后是手术过程。

今天上午9点35分左右,手术正式开始。在广东省人民医院现场的大屏幕上(下图),有四个播放画面,从左到右分别是高州市人民医院、高州人民医院手术室、广东省人民医院、VR视频手术过程演示。

高州市人民医院手术现场

从现场播放的VR演示视频,我们可以看到整个手术过程。

手术开始前,先将患者右侧胸腔垫高30度。然后确定手术入路,即主操作孔、镜孔和辅助操作孔。

患者身上会插管连接体外循环机,就是通常所说的人工心肺机,后续进行身体降温之后,医生再灌注心机保护液,让心脏停下来,之后再进行心脏的探查跟房间隔缺损的修补。

下图是房间隔缺损修补术过程:

手术中最关键的环节有两个,一个是在心脏的Koch三角区,缝合时需要注意不要靠近这,以免引起心脏心肌损伤,导致心脏跳动的节律传导受到阻滞。

另一个是心脏的解剖结构要看得更清楚一些,修补房间隔缺损的“补片”要补得更大一些。

最后确认没有残余分流,修补完成,心脏复跳,止血关胸,手术完成。

现场经过近3个小时的手术后,4月3日12:55分,患者心脏复跳,手术成功!

5G比4G提速10倍,时延低于30微秒

手术现场的主刀医生为高州市人民医院的何勇医生,指导医生是广东省人民医院心外科的郭惠明医生。

根据官网介绍,何勇医生是高州人民医院副主任医师,每年完成心外手术达500例左右,手术量在华南地区处于领先,其中瓣膜替换术在400例左右,手术成功率达99%以上。

高州市人民医院虽然在心外科也有很多经验相对比较成熟,常规心外科手术都能做,但以前这类手术主要是采取大切口的开胸手术来做,微创的腔镜手术做得不多。

这场手术是做微创腔镜手术,患者开刀3-4厘米,对医生的要求更高,会有一定的难度,因此需要广东省人民医院的指导支持。

郭惠明是广东省人民医院主任医师、心外科副主任,擅长微创胸腔镜手术,在手术治疗二尖瓣成形或置换、先天性心脏病、房颤和冠心病的杂交治疗方面处于国内领先水平。

(图据广州日报)

地图显示,高州市人民医院距离广东省人民医院将近400公里,但现场画面没有明显时延。传回现场测试结果,整体网络速度与4G相比提速10倍,时延低于30微秒,几时就是同步的。

在现场,高州人民医院主刀医生还询问:“心包是否在这里打开?”位于广州的郭惠明立即回答:“上移3厘米。”

目前,广东省人民医院已经跟广东移动、华为合作,实现5G全覆盖,室外网络由4G跨越到5G,用户体验速率由80Mbps提升到800Mbps,达到与有线光纤网络相当的体验。

对于AI,虽然近年来人工智能在医疗领域取得了飞速进展,但在实际临床中的应用却非常有限。其中一个主要的原因就是人工智能还缺乏足够的可信度和可解释度来完全取代医生进行自动诊治。

史弋宇说,团队目前阶段主要着眼于人工智能在医疗系统中的辅助作用来帮助其尽快落地。例如在本次远程手术指导中采用到的面向人工智能的图像压缩传输,智能影像去噪,以及智能心脏建模,都是以为医疗专家更方便,更快捷,更准确的诊治为目标。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 5G
    5G
    +关注

    关注

    1340

    文章

    47733

    浏览量

    553099
  • 3D打印
    +关注

    关注

    26

    文章

    3457

    浏览量

    107559
  • ai技术
    +关注

    关注

    1

    文章

    1037

    浏览量

    23632

原文标题:刚刚,中国完成首例AI+5G心脏手术!2分钟AI建模,400公里远程协作“补心”

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    自己做了块CYUSB3014的USB板卡,第一次插上USB电缆,加载CYUSB3014程序后设备消失如何解决?

    自己做了块3014的USB板卡,第一次插上USB电缆,计算机识别Bootloader,Control Center也可发现设备,但加载3014程序后设备消失,请问大家有没有遇到这种问题,如何解决
    发表于 02-29 07:01

    用Aurix TC397x制作了定制主板,需要第一次对UCB存储区进行编程吗?

    我们用 Aurix TC397x 制作了定制主板。 我们需要第一次对 UCB 存储区进行编程吗? UCB 地区的默认数据是什么?
    发表于 01-25 06:00

    ADE7880为什么只能够读取第一次的AVRMS电压数据,后面读取的AVRMS没有任何变化?

    下面是我的电路图,通过spi通信,经测试通信是成功的,我现在想读取AVP的电压,我通过信号发生器在AVP接入了50Hz 500mV的信号。我的问题是为什么只能够读取第一次的AVRMS电压数据,后面
    发表于 12-26 07:45

    ad9824第一次读取是对的,第二写入后再读取数据是错误的原因?

    这两个配置互换一下位置,发现VGA_Gain_Address配置后读取正常,而Operatin_Address读取异常,请问是怎么回事?是否这个AD本身就是这样的。第一次遇到这样的ad ,请问是怎么回事?
    发表于 12-13 07:41

    电机在停机段时间后,在第一次开车时有异响的原因?

    我们是部矿井提升机,提升机用的西玛格的,电机是西门子变频电机,采用SM150驱动,当电机在停机段时间后,在第一次开车时有异响,但当滚筒转过周后就没有声音了,下
    发表于 12-13 07:38

    AD7656使用在串行模式输出,复位后第一次转换并读取的数据只有真实值的半是为什么?

    AD7656使用在串行模式输出,但每次复位后,第一次转换并读取的数据只有真实值的半,从第二开始,之后的每次转换得到的数据都正常,请问有人遇到过吗?为什么?
    发表于 12-11 08:24

    AT指令的模块第一次通信是如何获取波特率的?

    这个第一次通信的波特率是怎么确定的
    发表于 11-02 06:48

    串口收发,上电后第一次总是多个FF字节怎么解决?

    串口1 收发,上电后第一次收到的数据 总是多个FF,导致后面数据乱了,但是在仿真状态是,收发是正常的,如下图。望大家多多指点。谢谢! 调换过串口和GPIO配置的顺序,还是没有解决。
    发表于 10-20 08:27

    51单片机电路第一次上电无法下载程序

    使用stc15W204s单片机,第一次上电时复位键无法工作,不能下载程序,已下载过程序的单片机焊接在这个电路上可正常下载。
    发表于 10-08 14:12

    USB带电状态枚举后第一次数据上传,PC收不到是为什么?

    各位大佬好,我在工作使用NUC123这款设备,发现芯片带电情况进行USB枚举后的第一次的上传数据, PC有几率收不到,通过Debug发现设备发送了,但是PC就是没收到。 于是在NUC123例程
    发表于 08-22 06:46

    虹科案例 | 虹科AR医疗解决方案助力意大利Vercelli医院完成世界首例的远程心脏手术

    作为培训和支持工具,在复杂的心脏手术中实现了远程指导。” Francesco Rametta 博士说:“虹科AR智能眼镜使我们能够实时传递并放大手术
    的头像 发表于 07-03 17:45 239次阅读
    虹科案例 | 虹科AR医疗解决方案助力意大利Vercelli医院<b class='flag-5'>完成</b>世界首例的<b class='flag-5'>远程</b><b class='flag-5'>心脏</b><b class='flag-5'>手术</b>!

    NTPClient为什么只有第一次调用“timeClient.update”时日期部分是错误的吗?

    秒读取一次)。 要读取日期和时间,我正在使用 NTPClient 库,当“显示单元”启动时会出现问题。 在草图中“循环”的“第一次”调用中,它读取当前日期和时间并显示它。 所以第一次只有“日期”部分
    发表于 05-12 07:35

    为什么ESP8266单元在第一次连接时向DHCP服务器宣布其主机名为ESP_XXXXXX?

    你知道为什么 ESP8266 单元在第一次连接时向 DHCP 服务器宣布其主机名为 ESP_XXXXXX,然后在所有后续连接中它宣布自己为 NODE-XXXXXX(XXXXXX 显然是 MAC 地址
    发表于 05-09 10:00

    【沁恒 CH32V208 开发板免费试用】记录第一次使用时的点滴

    了。 首先从官网下载开发环境,毕竟第一次使用沁恒的单片机,开始还以为在keil里面开发呢!安装过程路next,装好后见图。 接下来要连接仿真器,查看WCH-LINK的说明书,找到对应型号单片机
    发表于 04-29 11:25

    PROTEUS示波器怎么只能第一次仿真时用?

    PROTEUS示波器怎么只能第一次仿真时用?求大神指点
    发表于 04-23 16:35