AI诊疗或更准确，来自顶刊新研究！大模型搞医疗现状：在CPU上成功落地

当大模型踏入医疗行业与人类医生一较高下时，它能达到什么水平？

就在最近，医学顶刊BMJ便给出了这样一个结论：

在遵循公认的临床抑郁症治疗标准方面，先进大模型可能比医生要强！

从研究结果上来看，大语言模型（LLM）在轻度和重度抑郁症治疗方面，已经达到了公认的治疗标准。

不仅如此，它们还不会被患者的外在因素所影响（包括性别、社会阶层等等），这就比人类初级医生还要强上一点了。

这是否就意味着类LLM选手们现在可以“持证上岗”了呢？

非也，非也。

考虑到抑郁症治疗的持续性和患者病情的多样性，这项研究认为，真正的治疗过程还是需要人类医生来进行。

不过研究同样指出，LLM对于现阶段医疗可以起到辅助决策的帮助：

有可能加强初级卫生保健的决策，提高精神卫生服务的质量和公正性。

毕竟自从LLM热潮以来，包括谷歌在内的众多AI玩家，都致力于推动其在医学领域中的作用。

甚至像“男孩阅医无数，最后竟被AI成功诊出病因”这样的新闻也是频频被曝出。

那么问题来了——LLM在现实中的医疗领域，到底走到了哪一步？

LLM，已然深扎医疗

一直以来，医疗行业都被视为AI落地的重要领域。

在深度学习浪潮刚刚兴起之时，深度学习三巨头之一Hinton就说出了名言：

5年内AI可以取代放射科医生。

尽管这个表达有些激进，但它揭露了一个事实，至少在科研层面，AI和医疗的结合是非常被看好的。

在过去一段时间以来，AI医疗场景不断开拓，比如利用CV算法识别病灶、检测心电图等。科技巨头们都紧跟趋势，如微软、谷歌、IBM等都在持续投入资金，推进AI医疗落地。

尤其在ChatGPT趋势到来以后，LLM更强的学习能力、更好的迁移能力以及更深的理解能力，都为AI医疗落地打开新局面。

而且这会是一个很确定的趋势，因为技术、应用落地和行业发展都准备好了。

首先技术方面，今年是大模型爆发的一年，目前国内已经形成“百模大战”格局。

诸多大模型厂商都主打To B路线，正在加速推动大模型在各个行业的应用。还有一些厂商直接推出面向医疗的行业大模型，比如谷歌推出的Med-PaLM 2就已经在诊所实测。

所以对于医疗领域而言，当下是不缺“模”的。

其次，大模型和医疗领域也天生非常契合。

在常见的问诊、病历生成、患者病史分析等场景，都需要医生基于历史信息进行整合总结、分析判断，这正是大模型的长项。

比如利用大模型的总结摘要能力，可以快速对多类数据进行总结并形成摘要，帮医生完成繁琐、重复性高的工作，提升效率。

并且实际落地上，只需以基座大模型为底，应用专业医疗数据训练，就能得到一个强大的医疗大模型，这能从根本上加速AI医疗落地。还能在一个系统中集成多个子模型，即可快速覆盖更多场景。

再来看行业发展方面，以国内情况为例，数字化医疗、AI医疗逐渐发展为一个独立赛道，玩家们利用数据分析、自然语言处理（NLP）、结构化数据等技术，已经成功将AI引入临床诊断决策、病例数据管理等。

如惠每科技开发的面向医院的核心应用Dr.Mayson。

简单理解，这是一个能优化医院看诊、决策、预警、管理等方面的智能应用，核心目标就是让医院数字化系统运行更加丝滑流畅，提高医生诊疗效率。

它主要融入了PDCA过程管理和CDSS（临床决策支持系统）。利用机器学习、深度学习、大数据挖掘等技术，可以智能识别分析病历文书、LIS/RIS报告等患者完整病历数据；为医院构建专门的医学知识库；给医生、医技、护士、管理方提供实时智能参考与建议。

在惠每科技最新发布的CDSS 3.0架构中，新一代AI大数据处理平台已集成了医疗大模型，并已经在某合作医院的病历生成等场景中获得了医生的认可。

综上，医疗大模型应用落地路径已经比较明确。但是落地的过程却没有想象中的那般容易。

医疗大模型落地，怎么解？

医疗大模型落地目前遇到的两大核心问题，都非常具有原生性：

• 为保证患者数据安全，医院数据仅能内网使用

• 当前GPU算力紧张，医院很难负担如此高昂的采购成本

这意味着，医疗大模型需要进行私有化部署，且需要寻找一条能够针对于提升大模型算力的“性价比”道路。

所以，AI加速成为了近来业界备受关注的领域。它直接关乎大模型落地的效率和成本，行业内各大厂商的加速方案也都受到热捧。

比如刚刚提到的惠每科技便携手英特尔，在基于第四代英特尔至强可扩展处理器的基础设施上，打造了量化和非量化两种大模型推理加速方案。

如何实现？

先来看量化部分，也就是通过降低模型精度来实现加速。

以FP32量化到INT8为例，它能让GPU或CPU适应更快、更低成本的8位张量来计算卷积和矩阵乘法，可有效提高计算吞吐量。还能减少模型数据搬运所需的时间和资源，这是数据从内存移动到计算单元的必然消耗，精度从32位降低到8位，能实现4倍减少量。

同时量化也能减少内存的使用，让模型需要更少的存储空间、参数更小、缓存利用率更高。

具体实现方案上，惠每科技引入了英特尔开发和开源的BigDL-LLM大语言模型加速库，其提供对各种低精度数据格式的支持与优化，同时配合不同型号和代际的英特尔处理器内置指令集（如英特尔AVX-512_VNNI、英特尔AMX等）在大模型应用中可以实现较优推理加速。

使用方面，此方案提供了便捷命令和编程接口两种方法，能方便预览量化后模型性能是否符合预期；另外在性能达标的情况下，凭借BigDL-LLM提供的HuggingFace API/Langchain API，用户可以轻松将优化性能整合到部署推理服务中去。

△BigDL-LLM为医疗大模型提供推理加速

对于非量化技术路径，英特尔也能提供键值（KV）缓存、算子融合的OpenVINO加速方案。

KV缓存用于通过键值对的方式存储数据，能加速和优化数据访问。算子融合是将神经网络中多个连续运算符融合成一个运算符，从而减少内存访问、提高计算效率。

在惠每科技主要使用的开源基座大模型ChatGLM上，基于英特尔OpenVINO工具套件打造的非量化方案能利用零拷贝（Zero-Copy）视图传递预分配的KV所需的内存副本空间，避免数据的多次拷贝，实现KV缓存加速；

也能引入第四代英特尔至强可扩展处理器内置的英特尔AMX指令集，帮助ChatGLM等医疗大模型加速BF16/INT8计算，实现算子融合，在保证精度的前提下提升运算效率、加速推理；

同时OpenVINO工具套件提供了在HuggingFace上的Optimum接口，让优化效果可扩展到更多医疗大模型推理应用中。

总结来看，英特尔与惠每科技联手打造的两个大模型加速方案，成功帮助医疗机构用较低成本部署了高质量大语言模型，并且为更多准备“入局”的同行们提供了一套完整教程。

更关键的是，本次合作也让我们看到了一个事实：大模型训练推理并非唯GPU一种解法，CPU也可以作为大模型在行业落地的平台。

CPU，大模型的另一种解法

或许很多人一提到大模型，刻板印象往往会是“堆GPU”。

但事实上，英特尔在通过自身的实践在证明——CPU，亦是一种解法。

例如在我们耳熟能详且经典的OCR（光学字符识别）领域，在英特尔第四代至强可扩展处理器的加持之下，响应延时指标在原有基础上足足提升达25倍！

△数据来源：英特尔合作伙伴

再比如媒体娱乐场景中，尤其在AMX加速引擎加持下，英特尔能帮助个性化内容推荐速度提升达6.3倍；零售行业里，能将视频分析速度提升高达2.3倍，还有像工业缺陷检测、医疗服务也都能从容应对。

即便是在生命科学和医药等前沿探索领域，CPU也已经成为不容忽视的存在：甚至在某些场景下的表现效果比GPU还要好。

而这些案例，也只是英特尔CPU在大模型时代表现中的一隅；更重要的应当是英特尔在过去一段时间和未来，所坚持的 “走法”：不仅重视硬件产品性能的提升，对于软件优化和打造生态系统同样付出大量心血，给用户提供全流程支持。

这也是为什么在今年的Intel Innovation 2023上，英特尔敢于喊出“AI everywhere（让AI无处不在）”的口号；为什么在12月中旬即将发布的新一代至强可扩展处理器、产品和加速方案，充斥着“AI”和“大模型”的味道。

总而言之，CPU巨头英特尔，在大模型时代之下确实在开辟着与众不同的路数。

至于新一代至强可扩展处理器和其他产品又会给大模型带来怎样的性能提高，也是值得期待一波的。

本文转载自：量子位