美國國防部完成了使用聊天機器人進行軍事醫學的試點項目

與國防部和拜登政府有關的最後一個項目之一已經成功結束。 美國國防部首席數位和人工智慧辦公室（CDAO）已完成眾包人工智慧紅隊（凱特）保證計畫試點。 該倡議旨在將人工智慧聊天機器人整合到軍事醫療服務中 ；

大型語言模型（LLM）聊天機器人在CAIRT程式中實作。 另外，CAIRT協助國防部製定去中心化、眾包的人工智慧風險緩解和人工智慧保證戰略。

200多名臨床服務提供者和醫療保健分析師為識別軍事醫療應用中使用人工智慧聊天機器人的潛在漏洞做出了 貢獻。 值得注意的是，正如國防部所報告的那樣，飛行員發現了數百個潛在問題。

為此，國防部表示，「這項工作將透過開發基準資料集產生可重複且可擴展的輸出，這些資料集 可用於評估未來的供應商和工具，以符合績效預期。

CAIRT專案幕後

據美國國防部稱，一家非營利性人道主義情報機構進行了CAIRT LLM試點。 它與國防衛生局（DHA）和國防醫療管理系統專案執行辦公室（PEO DHMS）合作實現了這一目標。

此外，人道情報部門使用紅隊方法來識別特定的系統問題。 這涉及使用對抗技術對系統彈性進行內部測試 ；

此外，紅隊吸引了有興趣與新興技術互動並成為潛在未來受益者的參與者。 他們有機會為加強這些系統做出貢獻。

在這個計畫中，人道主義情報部門使用眾包紅隊來解決軍事醫學中的兩個潛在應用：臨床記錄摘要和 醫療諮詢聊天機器人。

雖然發現了漏洞，但國防部強調，「這些發現將在製定國防部負責任使用生成型人工智慧（GenAI）， 最終改善軍事醫療。

儘管如此，國防部表示，CAIRT保證計畫將繼續測試LLM和AI系統。 這將加快CDAO的人工智慧快速能力單元，使GenAI目標更加有效，並有助於在所有國防部用例中建立信任。

CDAO的負責人Matthew Johnson博士也表示：，「由於在國防部內部將GenAI應用於此類目的還處於試點和 實驗的早期階段，因此該計劃是產生大量測試數據、提出考慮領域和驗證緩解方案的重要開拓者，這些方案將影響未來可能部署的GenAI系統的未來研究、開發和保證，」

預計即將上任的政府將繼續這些項目。 川普的團隊對人工智慧持開放態度，即使它希望與中國競爭。

人工智慧在醫療領域有多安全 

儘管人工智慧對醫學科學有著巨大的有益影響，但隨之而來的是一些重大風險和危險。

對於狀態，人工智慧系統使用需要大量資料集來提高準確性的特定演算法。 這種方法使敏感的患者資料面臨安全、隱私和保密的風險。 目前由於製藥和保險公司對這種資料集感興趣，駭客攻擊已經大大擴展醫療文件駭客攻擊也可能是政府網路攻擊的一部分。

此外，數據中毒，即故意修改醫療數據以在醫療保健中引起錯誤或偏見，是醫療數據濫用的另一個主要風險 。 這損害了醫療建議的準確性和可靠性。 人工智慧使用不同的流行病學數據模型，如新冠肺炎大流行，可能會產生不同的結果。

另一個問題是有缺陷的醫學演算法。 這可能是由於演算法測試不足，因為沒有既定的標準來測試其有效性。 例如，雙盲試驗是證明治療有效的最有效方法 ；

儘管如此，誰應該為這樣的錯誤負責——私人醫生、醫院、設備提供者還是演算法開發人員？ 因此，機器故障造成的醫療錯誤引發了嚴重的法律問題。

AI聊天機器人扮演醫生？