每日最新頭條.有趣資訊

中國完成首例AI+5G心臟手術!2分鐘AI建模,400公里遠程協作補心


【新智元導讀】剛剛,廣東省人民醫院與廣東高州市人民醫院完成全國首例AI+5G手術,成功為心臟病患者「補心」。手術期間的AI技術是由曾靠「貪心演算法」成功追回被搶車的聖母大學計算機系終身副教授史弋宇團隊提供。這次手術也是AI在臨床上的一次落地應用。

AI+5G,第一次成功完成心臟病手術。

剛剛,廣東省人民醫院與廣東高州市人民醫院共同上演一場直播「大片」:

高州市人民醫院心外手術室裡,醫生主刀進行心臟腔鏡手術;在相隔近400公里外的廣東省人民醫院,專家通過觀看大螢幕上5G傳輸的實時超高清手術畫面,對高州市的手術進行遠程指導。

在這場手術前,醫院使用到了自主研發的全自動AI去噪以及建模軟體,一鍵完成建模,耗費時間從2-6小時縮短至兩分鐘以內,並自動生成3D印表機可識別的3D數字心臟模型(STL格式),直接用來列印出實體1:1心臟模型。

值得注意的是,手術的AI技術部分是由廣東省人民醫院特聘顧問史弋宇教授帶領團隊參與。史弋宇是聖母大學計算機系終身副教授,博士生導師,併兼任電子系終身副教授。

今年1月初,新智元報導過史弋宇教授被兩名劫匪搶去汽車,在不到24小時之內,靠手機發動應用程序和「貪心演算法」成功將車找回,新智元的讀者應該有深刻印象。

這次參與全國首個AI+5G手術,史弋宇籌備了一年時間,手術成功也讓AI在醫療領域更加落地。


患者情況:先天心臟病,心臟出現孔

接受AI+5G手術的是一位41歲的女性患者,據醫生介紹,這名患者有先天心臟病,近期因「勞力性心悸、氣促10餘天」入院。經過心臟彩超和右心導管等檢查發現,患者診斷為繼發孔型房間隔缺損

房間隔缺損本來是簡單先心病,如果在小時候做開胸手術,操作上是相對容易,而且風險很低的。但是這位患者已經41歲,出現了重度肺動脈高壓,開始出現心力衰竭,病情已經從簡單先心病轉變成複雜的成人先心病,簡而言之心臟沒有正常的發育,形成了一個缺損,就是我們所說的心臟裡面出現一個孔

模型演示患者的心臟中間出現一個孔(攝影:邱海龍)

這個孔的存在會導致病人心臟左心房的血會持續往右心房分流,加重右心房的整個心臟的負荷,也會加重肺循環的負荷,久而久之,心臟也就會持續擴大,肺動脈的壓力也會持續的增高。

通過3D列印出來的1:1心臟模型可以看到,患者的心臟比正常人的偏大,而正常人的心臟大約有一個拳頭那麼大。

通過影像也可以觀察到,患者的心臟佔據了整個胸腔的2/3以上。

由於房間隔缺損一直伴隨患者41年,錯過了治療的最佳時期,因此無法進行常規的心臟手術矯治,最嚴重的結果可能會導致心肺聯合移植甚至是死亡。

同時,患者的心肺功能衰竭到已經出現癥狀,因此術中的操作必須仔細,心肌保護要到位,圍術期的管理也是挑戰,再加上是胸腔鏡下做手術,對醫生的手術操作是較大的考驗。


準備階段:AI三維建模只需2分鐘

對於這次手術,廣東省人民醫院可謂用上了目前最熱門的「黑科技」,其中多項技術均已申請專利進行知識產權保護。史弋宇教授負責參與AI部分,主要用於術前準備階段。

1、圖像壓縮

醫院把影像採集下來以後,要進行實時影像傳輸,史弋宇教授聯合佛羅裡達國際大學聞武傑教授先做一個面向機器學習的影像壓縮,在數據接收端會自動對影像進行去噪,然後分割、建模。

影像壓縮的出發點和傳統的壓縮(比如JPEG)不同,JPEG是針對人的視覺的,要保證壓縮後沒什麼視覺上的損失。而該工作做的壓縮是為了AI建模,不以人的視覺作為標準,而是針對計算機視覺的影像壓縮。

通過壓縮,接收的圖像體積變小了,而且圖像分割的準確度得到了提升,壓縮率提升3倍,且能提升分割效果。

關於影像壓縮的成果,論文將會發表在今年6月的CVPR上。

論文題目:Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

2、AI去噪

在上面的圖像壓縮過程中,還包含了一部分去噪技術。因為這裡的圖像是用來建模的,所以在壓縮的過程中,同時把一部分雜訊也去掉了。在去噪方面,使用了注意力神經網路,能夠集中注意到圖像裡的雜訊。

史教授團隊對每一例影像進行自動去噪,最後的結果直接進行自動建模,不需要人工乾預。這樣就可以把心臟的模型建成一個可3D列印的模型。

3、機器學習和傳統計算機視覺的混合建模

對於結構性心臟病患者來說,他的心臟結構可能跟正常的心臟差別很大,所以史教授團隊用了機器學習加傳統計算機視覺的方法。對於心臟結構比較變化大的,用一些傳統計算機視覺的方法;關於心臟的一些精細結構,使用人工智慧與傳統計算機視覺方法的混合架構。

整個心臟的三維建模時間大概是2分鐘,而且準確度在先天性心臟病上也比傳統方法的70%提升了12%。如果使用傳統3D建模方法,大概需要幾個小時時間。

這個模型的直接作用有兩個。第一個作用是讓醫生在術前準備的時候,會把這個模型用3D列印出來,供醫生在術前準備時參考,能夠直觀地看看患者心臟到底是什麼樣的,有些什麼問題。

模型的另外一個重要作用是,讓術中進行遠程指導的醫生,能夠通過VR和MR技術,利用傳輸過來的實時影像以及之前的建模,能夠實時、動態地指導目前的手術的進展。

在本場手術中,醫院採用的是3D建模方法,指導心內手術操作非常直觀;但是在某些情況下,比如一些急診重症病人,來不及進行3D列印,就可以實時用VR的虛擬心臟來指導,也很直觀。

下圖可以顯示AI在手術中起到的作用:

手術過程:VR演示補心術

準備工作之後是手術過程。

今天上午9點35分左右,手術正式開始。在廣東省人民醫院現場的大螢幕上(下圖),有四個播放畫面,從左到右分別是高州市人民醫院、高州人民醫院手術室、廣東省人民醫院、VR視頻手術過程演示。

高州市人民醫院手術現場

從現場播放的VR演示視頻,我們可以看到整個手術過程。

手術開始前,先將患者右側胸腔墊高30度。然後確定手術入路,即主操作孔、鏡孔和輔助操作孔。

患者身上會插管連接體外循環機,就是通常所說的人工心肺機,後續進行身體降溫之後,醫生再灌注心機保護液,讓心臟停下來,之後再進行心臟的探查跟房間隔缺損的修補。

下圖是房間隔缺損修補術過程:

手術中最關鍵的環節有兩個,一個是在心臟的Koch三角區,縫合時需要注意不要靠近這,以免引起心臟心肌損傷,導致心臟跳動的節律傳導受到阻滯。

另一個是心臟的解剖結構要看得更清楚一些,修補房間隔缺損的「補片」要補得更大一些。

最後確認沒有殘餘分流,修補完成,心臟復跳,止血關胸,手術完成。

現場經過近3個小時的手術後,4月3日12:55分,患者心臟復跳,手術成功!

5G比4G提速10倍,時延低於30微秒

手術現場的主刀醫生為高州市人民醫院的何勇醫生,指導醫生是廣東省人民醫院心外科的郭惠明醫生。

根據官網介紹,何勇醫生是高州人民醫院副主任醫師,每年完成心外手術達500例左右,手術量在華南地區處於領先,其中瓣膜替換術在400例左右,手術成功率達99%以上。

高州市人民醫院雖然在心外科也有很多經驗相對比較成熟,常規心外科手術都能做,但以前這類手術主要是採取大切口的開胸手術來做,微創的腔鏡手術做得不多。

這場手術是做微創腔鏡手術,患者開刀3-4厘米,對醫生的要求更高,會有一定的難度,因此需要廣東省人民醫院的指導支持。

郭惠明是廣東省人民醫院主任醫師、心外科副主任,擅長微創胸腔鏡手術,在手術治療二尖瓣成形或置換、先天性心臟病、房顫和冠心病的雜交治療方面處於國內領先水準。

(圖據廣州日報)

地圖顯示,高州市人民醫院距離廣東省人民醫院將近400公里,但現場畫面沒有明顯時延。傳回現場測試結果,整體網路速度與4G相比提速10倍,時延低於30微秒,幾時就是同步的。

在現場,高州人民醫院主刀醫生還詢問:「心包是否在這裡打開?」位於廣州的郭惠明立即回答:「上移3厘米。」

目前,廣東省人民醫院已經跟廣東移動、華為合作,實現5G全覆蓋,室外網路由4G跨越到5G,用戶體驗速率由80Mbps提升到800Mbps,達到與有線光纖網路相當的體驗。

對於AI,雖然近年來人工智慧在醫療領域取得了飛速進展,但在實際臨床中的應用卻非常有限。其中一個主要的原因就是人工智慧還缺乏足夠的可信度和可解釋度來完全取代醫生進行自動診治。

史弋宇說,團隊目前階段主要著眼於人工智慧在醫療系統中的輔助作用來幫助其儘快落地。例如在本次遠程手術指導中採用到的面向人工智慧的圖像壓縮傳輸,智能影像去噪,以及智能心臟建模,都是以為醫療專家更方便,更快捷,更準確的診治為目標。

(本文特別感謝廣東省人民醫院黃美萍和邱海龍醫生的支持!)


獲得更多的PTT最新消息
按讚加入粉絲團