[博客翻译]NeuralRad器官和肿瘤分割云服务背后的故事


原文地址:https://howardchen.substack.com/p/after-switching-from-a-1080ti-to


智能医疗新突破:免费肿瘤分割云平台——NeuralRad

上月,我收到了一条消息,来自我们老朋友——郝江(网名coolwulf)的讯息。他告知我关于他的最新项目——NeuralRad,据他所言,这是“史上首个免费的器官与肿瘤分割云端服务”。只需上传CT或MRI扫描图像,人工智能能在几分钟内自动识别并分割全身器官。针对大脑,还专门设有描绘脑部肿瘤的功能。熟悉我们的观众可能对coolwulf的名字并不陌生。郝江,网名coolwulf,曾因在南京大学物理学的学术成就以及密歇根大学核工程与放射科学博士学位而在2022年引起关注。他在医学影像领域有着重要贡献,私底下还是一个拥有超凡技术实力的“业余程序员”。2018年,当人工智能方兴未艾时,他就利用50块1080ti GPU构建了一个计算集群,用于训练大规模模型以检测乳腺癌图像。多年来,他完成了包括乳腺癌检测和脑部肿瘤界定在内的多个AI项目,并通常自掏腰包提供免费服务,这种分享精神在编程社区中是对“开源”最好的诠释。直到不久前,还有人在视频下留言,感谢coolwulf提供的免费网站帮助他们及时发现癌症变化,从而早期进行手术干预,成功遏制了癌症的发展。

如今两年过去,coolwulf再次取得突破。坦白说,起初听到这个消息,我有些困惑。因为癌症相关研究可能只有临床物理学家才能完全理解,像我这样的普通人可能会被细节所困扰。为了让我这样的门外汉也能明白,coolwulf特意安排了一场视频会议,花了整个上午的时间共享屏幕,耐心地向我讲解。经过近一个月的沟通和咨询多位医生,我才逐渐明朗。

不同于两年前,这次coolwulf带来的NeuralRad平台更新了全身器官分割功能。最多只需要十分钟,就能以不同颜色自动分割出全身各器官,这对放射治疗计划的制定是极好的辅助工具,确保正常组织远离辐射。此外,该平台还能单独标记每一节脊椎,极大地提高了治疗脊髓癌等病症时的手术精度。而且,它升级了之前在脑部肿瘤方面的成果,整合到平台上。对于脑部MRI图像,平台可以自动划定肿瘤边界,显著降低了假阳性检出的可能性,简化工作流程,减少误报的发生。

以下两张图例中,实线代表AI划定,虚线代表医生手动划定,两者差异微小,方便后续验证。这一便利程度大概相当于将“写作业”与“批改作业”的区别。通过AI自动划定,即使是没有医学背景的患者也能直观地从三维图像中看到脑部肿瘤的位置、大小和数量。同时,通过比较每次放疗后的MRI结果,患者还可以清晰看到肿瘤被消除或数量减少的情况,这在增进医患信任、共同了解病情方面具有重要意义。

目前,该平台仍处于Beta阶段,许多功能有待完善。coolwulf几乎每隔几天就会添加新特性。NeuralRad已被国际原子能机构(IAEA)选为2023年医学物理人工智能研讨会的项目。上线后不久,他就收到来自全球各地的合作者询问和问候邮件,其中包括各国放射肿瘤学专家及哈佛医学院等顶尖医学物理国际组织。

国际原子能机构(IAEA) 是一个与联合国建立关系的政府间组织,成员国在原子能的科技领域开展合作,总部位于奥地利维也纳。其组织结构包括大会、理事会和秘书处。(来源:百度百科)

IAEA的合作邮件 | coolwulf回复哈佛医学院的邮件

近年来,随着人工智能技术的爆炸式发展,类似的AI医疗影像技术以超出想象的速度进步,每年全球可能有数百个相关项目启动。在这波人工智能浪潮中,coolwulf的项目虽非独一无二,但意义远不止于此。资源有限的第三世界国家对AI技术的需求尤为迫切。

几天前,我联系到了一位在巴基斯坦白沙瓦工作的物理治疗师Syed。白沙瓦人口约60万,紧邻阿富汗,拥有多座历史遗迹,虽然经济不算发达,却是中亚交通和贸易的重要枢纽,居住着巴基斯坦最勤劳的人们。然而,这里频繁遭受恐怖袭击,长期受到动荡影响,一度被称为“世界上最危险的城市之一”。

Syed告诉我,当地最大的问题是医患比例极度紧张。几乎每家医院都超负荷运转,既要处理本地病人,还要接收大量来自阿富汗的患者,这部分人占患者总数高达60%。鉴于医疗设备和人员的短缺,白沙瓦的医疗条件不容乐观。去年11月,他参加了IAEA的工作坊,在那里了解到完全免费的NeuralRad平台,此后便一直与coolwulf保持邮件联系。Syed已测试平台一段时间,他表示OAR(风险器官)界定功能大大缩短了为患者手动勾画肿瘤所需的时间,使治疗计划的制定更加顺畅。在时间紧迫的癌症治疗领域,这意味着能够救治更多病人。

10.png

Syed博士使用NeuralRad平台

然而,有许多国家的医疗设施状况与白沙瓦类似。例如,在非洲,只有48%的人口能够获得医疗服务;印度的医生与患者比例高达1:10,000,类似水平在缅甸、伊拉克、南非等第三世界国家也很常见。这些地区的医生素质参差不齐。对于NeuralRad中的器官分割等功能,尽管在国内经验丰富的放射治疗师看来或许并非必需,但在医疗专业知识匮乏的国家却极具价值,能为许多医生节省将近一天的时间。

根据coolwulf所述:“目前很多国家由于电力供应不足,无法同时运行治疗机(放疗机器)和CT扫描仪。这对于中国或美国这样的国家来说可能难以想象,但这些地方的医院没有足够的硬件计算能力,也没有资金购买AI服务软件,对AI技术的理解也不足,甚至医生使用的电脑性能也无法保证。”

因此,为了让医疗条件相对较差且就医困难的第三世界国家也能享受到科技的便利,coolwulf决定像他之前的项目一样,让NeuralRad平台完全免费。“收费根本不现实,他们负担不起。”coolwulf如是说。

不过,仅仅免费还不够。毕竟,大多数AI相关的医疗硬件需要本地强大的计算能力,而这类设备的成本超出许多国家的承受范围。于是,coolwulf自己搭建了云服务器,用户只需在浏览器上传CT文件,等待云端处理完成,操作简便,硬件成本接近于零。

CT文件云处理通知

为了满足“仅依赖浏览器”的严格条件,coolwulf采用了Web Assembly以提高网页执行效率,从零开始学习Rust语言,重写了整个前端代码。尽管编程语言可以互换,学习起来相对容易,但这仍然需要相当多的时间。

不同编程语言在网页执行效率的对比

目前,联系coolwulf的医生主要来自医疗资源匮乏的地区,包括但不限于印度、黎巴嫩、塔什干和巴基斯坦等地。这些区域要么医疗设备陈旧,要么医患比例失衡,或者持续受冲突影响,急需高效工具来改善工作流程。现在,包括中国和美国在内的医院正在逐步将NeuralRad融入日常工作中。

在coolwulf看来,云是未来,浏览器是承载未来的门户。在他的愿景中,未来医院可以通过AI大幅降低人力成本,同时摆脱本地计算硬件的负担,提升全球平均医疗水平。即便在欠发达国家,也会有同样的改善。

他还向我展示了工作室中的一套硬件配置。

PS:他已经从1080Ti升级到了4090和3090显卡。

见证AI成为“手术刀”的时代

这是我在癌症相关影像AI技术领域的第三次报道。从最初coolwulf的乳腺癌和脑癌项目,到上海张教授团队近期的胰腺癌和胸部扫描项目,再到NeuralRad平台,短短两三年间,我们与读者一起见证了这一领域的萌芽与发展。或许专业的医学术语令人费解,AI的应用和编码让人眼花缭乱,但我们似乎命中注定般地瞥见了一个曾经难以想象的未来——面对百年宿敌癌症,医生在智能科技的加持下,如同钢铁侠一般展现出超人的能力。那个因时间成本导致医患比例问题的时代,终将成为过去,而我们正以可感知的速度远离它。

我与国内几位放射科医生和放射肿瘤科医生有过简短交谈。目前,许多顶级医院已经使用AI技术平台相当长一段时间,取得了显著的实际效果,许多患者在AI的帮助下得到了更高效的治疗。我国众多医学院也开始在课程中加入医学AI,培养医学生的相关知识。如今,越来越多的像coolwulf这样的人投身于医学影像AI领域,技术必将进一步成熟。我们正处于快速发展的阶段。

幸运的是,这波发展遇到了较少的障碍。我接触到的许多项目使得技术较落后地区也能享受到科技进步的福祉。例如,coolwulf提供的完全免费且基于云的服务就是一个例子。同样,阿里巴巴达摩院在中国AI医疗健康领域领先,与安提瓜和巴布达卫生部合作,提供了AI医疗产品和“普通CT+AI”的科学筛查方法,用于一系列癌症和其他慢性疾病的早期筛查,实现公平普惠。

我相信,技术发展的关键在于包容性。至于coolwulf的未来规划,他希望NeuralRad能成为一个类似Figma的协作工具,允许医生、放射治疗师、剂量师和护士同时操作软件,使治疗过程更高效(这一目标已在很大程度上实现)。