SMILY:一个以人为中心,相似图像的病理搜索工具

谷歌AI最近分享了两篇研究论文，描述了在医疗保健领域类似图像搜索的人机交互研究进展。在第一篇题为《SMILY: 组织病理学的相似图像搜索》的论文中，他们描述了一个基于ML的工具，用于病理学中的反向图像搜索。第二篇论文《医疗决策过程中，以人为中心处理不完美算法的工具》探索了基于图像搜索的不同细化模式，并评估了它们对医生与SMILY交互的影响。

SMILY实现了一个深度学习模型，使用50亿个自然的、非病理图像进行训练。该模型学会了通过计算和比较图像的嵌入来区分相似的图像和不同的图像，然后使用癌症基因组图谱中未识别图像的语料库创建图像补丁及其相关嵌入的数据库。当在SMILY工具中选择一个查询图像补丁时，将以类似的方式计算查询补丁的嵌入，并与数据库进行比较，以检索嵌入最相似的图像补丁。

SMILY在协助搜索大型数据库的数字化病理图像上有很大的潜力。它可以帮助编制带有描述性说明的病理图像教材的索引，使受训的医科学生或病理学家能够使用视觉搜索对这些教材进行检索，加快教学进程。

此外，它还可以应用于癌症研究人员感兴趣的研究——肿瘤形态学与患者预后的相关性。研究结果还表明，复杂的ML算法需要与以人为中心的设计和交互工具相结合，这是最有意义的。