病理圖像人工智能分析軟件應如何進行性能評價？

病理圖像人工智能分析軟件是指基於數字病理圖像，采用深度學習等人工智能技術實現對病理圖像的分割、檢測等功能的獨立軟件，按照第三類醫療器械管理。數字病理圖像包括經數據成像設備獲得的顯微鏡下細胞或組織圖像、全玻片數字掃描技術（WSI）的病理圖像等。產品在醫療機構和/或醫學實驗室使用，可輔助病理醫師為疾病的診斷、預後、治療等提供信息，不能作為臨床診斷決策的唯一依據。

國家藥監局器審中心於今年7月發布《病理圖像人工智能分析軟件性能評價審評要點》，旨在指導注冊申請人對病理圖像人工智能分析軟件注冊申報資料中非臨床評價部分的準備及撰寫，同時也為技術審評部門提供參考，重點關注軟件研究資料相關要求，包括需求規範、算法研究資料等。

需求規範考慮數據采集、算法性能、使用限製等要求。數據采集需考慮數據來源的合規性、充分性和多樣性，數據分布的科學性和合理性，數據質控的充分性、有效性和準確性，數據需來源於不同地域、不少於3家機構；機構需采用說明書所述切片製作流程、組織染色和免疫組織化學技術製備切片。算法性能需結合產品預期用途，綜合考慮分析速度、敏感性、特異性、重複性與再現性、泛化性等性能指標的適用性及其要求，同時還需考慮因梯度消失、梯度爆炸、過擬合和欠擬合等影響算法性能的因素。使用限製需考慮產品禁用、慎用等場景，準確表述產品使用場景，提供必要警示提示信息。

算法研究資料需提交每個人工智能算法或算法組合的算法研究報告，包括算法基本信息、算法風險管理、算法需求規範、數據收集、算法訓練、算法性能評估、算法可追溯性分析等。

此類軟件的安全性級別為嚴重級別。數據收集需提供數據來源合規性聲明，列明數據來源機構的名稱、所在地域、數據收集量、倫理批件編號等信息。數據采集需提供數據采集操作規範文檔，包括數據采集方案和數據采集標準操作規程；數據采集主要由臨床機構實施，采集過程應對樣本數據進行編號並加密，方案中應包含編號規則。

數據整理需明確數據清洗/預處理程序，對數據處理中應用的軟件進行簡述，提交數據處理中各軟件的研究資料。數據標注需明確標注人員和仲裁人員的資質要求和培訓內容，標注人員和仲裁人員應為病理醫師，數據應經過不少於兩人標注；標注質量評估可抽選一定比例數據進行非標注人員的評估。數據集構建需明確各數據集劃分的方法及依據，訓練集、調優集、測試集的樣本應兩兩無交集並通過查重予以驗證。

算法訓練需依據適用人群、數據來源機構、采集設備、樣本類型等因素，提供訓練集、調優集（若有）關於疾病構成的數據分布情況；基於訓練集、調優集進行訓練和調優，明確算法訓練所用的評估指標、訓練方式、訓練目標、調優方法。算法性能評估需基於測試集，對算法設計進行評估，確認軟件算法性能的效率、敏感性、特異性，性能應滿足算法設計要求。