編

者

按

近年來，ChatGPT在醫(yī)學(xué)領(lǐng)域的應(yīng)用已越來越廣泛，越來越多的患者開始求助于ChatGPT，以快速解決他們的醫(yī)學(xué)健康問題。但ChatGPT是否能準(zhǔn)確全面地回答患者的疑問仍存在較大爭議。

近期，國外一項研究評估了ChatGPT在回答各類感染性疾病相關(guān)問題時的準(zhǔn)確性，結(jié)果表明ChatGPT能較好地回答各類感染性疾病相關(guān)問題，包括能夠正確回答83%的乙肝相關(guān)問題。

研究方法

本研究共向ChatGPT提出了200個問題，包括來自社交媒體平臺（YouTube、Twitter、Facebook）（n = 93）以及基于感染性疾病指南相關(guān)的問題（n = 107）。問題的正確答案來自各權(quán)威指南、協(xié)會、共識等。為了評估答案的可重復(fù)性，每個問題在不同的電腦上向ChatGPT輸入兩次，分析兩個答案的一致性。由具有委員會認(rèn)證資格的肝病專家負(fù)責(zé)驗證回答的準(zhǔn)確性。

每個回答的準(zhǔn)確性評分標(biāo)準(zhǔn)為：

1分：全面；

2分：正確但不充分；

3分：混合了不正確或易誤導(dǎo)的回答；

4分：完全不正確。

研究結(jié)果

在向ChatGPT提出的200個問題中，包括尿路感染（n = 18）、肺炎（n = 22）、HIV（n = 39）、乙型和丙型肝炎（n = 53）、COVID-19（n = 11）、皮膚和軟組織感染(n = 38) 和結(jié)核病(n = 19)。ChatGPT能正確回答90%的結(jié)核病相關(guān)問題（19個問題中有17個得到1分）；但是對尿路感染相關(guān)問題的正確性最低，僅為72%。此外，ChatGPT能正確回答83%的乙肝相關(guān)問題。

對ChatGPT回答指南或

社交媒體平臺問題的答案進(jìn)行評分

在指南問題中，74個（69.2%）得1分，23個（21.5%）得2分。在社交媒體平臺的問題中，86個（92.5%）得1分，5個（5.4%）得2分。

兩組中，回答社交媒體平臺問題的正確率顯著更高（得分為1分：p = 0.001; 得分為1分或2分：p = 0.049）。

ChatGPT回答指南或

社交媒體平臺問題的正確率比較

肝霖君有話說

本研究表明，ChatGPT能準(zhǔn)確地回答感染性疾病相關(guān)問題，其中對結(jié)核病相關(guān)問題的回答最為準(zhǔn)確，正確率達(dá)到90%，同時還能正確回答83%的乙肝相關(guān)問題。

相較于回答指南相關(guān)問題，ChatGPT回答社交媒體平臺問題的準(zhǔn)確性顯著更高，可能是由于ChatGPT的準(zhǔn)確性易受到信息源質(zhì)量的影響，并且由于感染性疾病本身的復(fù)雜性及各指南建議的不同，降低了ChatGPT對指南相關(guān)問題的準(zhǔn)確性，因此我們建議，尤其是醫(yī)護(hù)人員在使用ChatGPT回答相關(guān)問題時要謹(jǐn)慎，應(yīng)當(dāng)在各專業(yè)指南中驗證回答的準(zhǔn)確性。

當(dāng)然本研究也提示ChatGPT的醫(yī)學(xué)知識已經(jīng)得到廣泛擴(kuò)展，未來在處理特定醫(yī)學(xué)問題時具有巨大潛力，將有助于為患者的健康賦能，為各人群的健康保駕護(hù)航。

參考文獻(xiàn)：

Tun?er G, Gü?lü KG. How Reliable is ChatGPT as a Novel Consultant in Infectious Diseases and Clinical Microbiology?[J]. Infect Dis Clin Microbiol. 2024, 6(1): 55-59.

來源：雨露肝霖