内科系的教职员工正在研究不同的方法，通过将临床指南纳入现有工具和工作流程，让临床医生更容易获得临床指南。依靠大型语言模型(LLM)来生成临床问题答案的工具因其易用性和响应医生查询的能力而备受期待。

“当我们开发LLM工具来帮助临床医生回答有关肝病学和胃肠道疾病的问题时，我们意识到LLM公司经常自动将临床指南从PDF转换为文本文档，”医学助理教授(消化系统疾病)医学博士、哲学博士DennisShung表示。“但当你自动转换这些指南时，你会丢失对临床推理至关重要的重要数据。”

Stung和他的团队注意到，表格、图形和流程图中的数据丢失尤其严重。如果表格仅包含文本，LLM准确率约为80%。如果指南中包含图形，准确率会下降到16%左右。如果指南中包含流程图，准确率会下降到几乎为零。

“这尤其令人担忧，因为有时指南中最重要的信息就在流程图中，”消化系统疾病博士后研究员MauroGiuffrѐ医学博士说。“要让LLM工具对临床医生有所帮助，他们必须能够理解所有数据，而不仅仅是其中的一部分。”

Shung和Giuffrѐ最近在njpDigitalMedicine上发表了一篇题为“优化用于医学指南解释的大型语言模型：基于使用检索增强生成的丙型肝炎病指南研究的框架”的论文，研究了格式化丙型肝炎病指南文本的不同方式如何提高LLM工具的准确性，从而使其对临床医生更有用。的里雅斯特大学研究生研究员(消化系统疾病)和博士生SimoneKresevic带头进行了软件工程工作，以测试不同的LLM配置。其他合作者包括的里雅斯特大学生物医学工程教授MilosAjcevic和AgostinoAccardo，以及的里雅斯特大学胃肠病学和肝病学教授LoryS.Crocè。

“我们一开始根本没有格式化——只是将PDF直接转换为文本，格式化后会出现各种问题，”Giuffrѐ说道。“然后我们添加了更多标签和具体信息，以便为LLM提供有关每个图表或表格的更多信息，然后要求LLM回答有关护理丙型肝炎患者的问题。”

他们发现，在临床指南中适当格式化文本、图形和表格可以使LLM模型更轻松地对数据进行推理，并且准确性显著提高。

Shung和Mauro表示这些发现也适用于其他指南和专业。

Shung表示：“法学硕士的水平取决于他们所接受的培训内容。使用适合法学硕士的临床指南版本可以帮助我们更快地开发即时诊断工具，为临床医生提供高度准确和相关的信息。”

最终，Shung和Mauro希望医学协会能够创建适合LLM的指南版本，以便LLM可以轻松地吸收这些指南，而无需重新格式化。

Shung表示：“医学协会希望其成员实践循证医学，这就要求在适当的时间为每位患者提供最佳信息。通过制定LLM友好型临床指南，医学协会可以帮助我们创建最新、完整且使用可靠来源的LLM工具。临床医生需要对信息有信心，以便在患者面前做出最佳决策。”