《北京市人工智能醫療器械生產質量管理規範檢查指南》發布

近日，北京市藥監局發布《北京市人工智能醫療器械生產質量管理規範檢查指南（2024版）》（以下簡稱《檢查指南》），我們將其中第四部分“設計開發”內容轉載如下：

生產企業應結合質量管理體係要求，建立人工智能醫療器械生存周期過程，開展與軟件安全性級別相匹配的產品質量保證工作，確定需求分析、數據收集、算法設計、驗證與確認、部署運行、更新控製等活動要求，將風險管理、可追溯分析（需包含算法和數據）貫穿於生存周期全程，形成記錄。

0 1

需求分析

1.需求分析應當以用戶需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合分析法律、法規、規章、標準、用戶、產品、功能、性能、接口、用戶界麵、網絡安全、警示提示等需求，明確風險管理、可追溯性分析、數據收集、算法性能、使用限製、現成軟件（現成算法）的驗證與確認等活動要求，形成相應文件。

2.數據收集應當確保數據來源的合規性、充分性和多樣性，數據分布的科學性和合理性，數據質控的充分性、有效性和準確性。

3.算法性能需結合醫療實際和產品定位，明確假陰性與假陽性、重複性與再現性、魯棒性/健壯性、實時性等性能指標的適用性及其要求，並兼顧不同性能指標的製約關係。

4.使用限製需考慮產品禁用、慎用等場景，準確表述產品使用場景，提供必要警示提示信息。

0 2

數據收集

1. 數據采集

數據采集應當明確采集設備、采集過程、數據脫敏等質控要求，並建立數據采集操作規範。若使用曆史數據，應當結合樣本規模、采集難度等影響因素合理選擇數據采集方式，明確數據篩選標準並對采集的數據進行質量評估。

采集的數據應進行數據脫敏以保護患者隱私，數據脫敏需明確脫敏的類型（靜態、動態）、規則、方法以及脫敏內容的確定依據。如使用曆史數據，企業接收的數據應為脫敏後的數據，不得有敏感數據流入企業。

2. 數據整理

數據整理應基於原始數據庫明確數據清洗、數據預處理的質控要求。數據清洗應當明確清洗的規則、方法、結果，數據預處理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結果。數據經整理後形成基礎數據庫，需明確樣本類型、樣本量、樣本分布等信息。

3. 數據標注

數據標注應當明確標注資源管理、標注過程質控、標注質量評估等要求，並建立數據標注操作規範。標注過程質控包括人員職責（如人員資質、人員數量、職責分工）、標注規則（如臨床指南、專家共識、專家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。數據經標注後形成標注數據庫，樣本類型可分為數據塊（如圖像區域、數據片段）、單一數據（由多個數據塊組成）、數據序列（由多個單一數據組成）。標注數據庫的樣本量、樣本分布等要求及風險考量與基礎數據庫相同。

數據標注若使用自動標注軟件，結果不得直接使用，應由標注人員審核後方可使用。

4. 數據集構建

基於標注數據庫構建訓練集、調優集（若有）、測試集，應當明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調優集原則上需保證樣本分布符合真實情況，訓練集、調優集、測試集的樣本應兩兩無交集並通過查重予以驗證。

數據擴增（若有）應當明確擴增的對象、範圍、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，在線擴增亦需予以記錄，擴增需考慮數據偏倚的影響及風險。原則上不得對測試集進行數據擴增，對抗測試除外。

數據經擴增後應當形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

0 3

算法設計

1. 算法選擇

算法選擇應當提供所用算法的名稱、類型（如有監督學習、無監督學習，基於模型、基於數據，白盒、黑盒）、結構（如層數、參數規模）、輸入輸出數據類型、流程圖、算法編程框架、運行環境等基本信息，並明確算法選用依據，包括選用的理由和基本原則。若組合使用集成學習、遷移學習、強化學習等，需提供算法基本信息以及算法選用依據。

2. 算法訓練

算法訓練應當基於訓練集、調優集進行訓練和調優，考慮評估指標、訓練方式、訓練目標、調優方式、訓練數據量—評估指標曲線等要求。

3. 算法性能評估

算法性能評估應當基於測試集對算法設計結果進行評估，綜合評估假陰性與假陽性、重複性與再現性、魯棒性/健壯性、實時性等適用性，以證實算法性能滿足算法設計目標，並作為軟件驗證、軟件確認的基礎。若使用第三方數據庫開展算法性能評估，應當提供第三方數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如測試數據樣本量、評估指標、評估結果等）。

對於黑盒算法，應開展算法性能影響因素分析，並提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產品使用限製和必要警示提示信息。

0 4

驗證與確認

1. 軟件驗證

軟件驗證應當基於軟件需求予以開展，保證軟件的安全有效性，並作為軟件確認的基礎。

2. 軟件確認

軟件確認測試應當基於用戶需求，由預期用戶在真實或模擬使用場景下予以開展，涵蓋現成軟件、網絡安全的測試要求，確定缺陷管理、風險管理、可追溯性分析、評審等活動要求，形成用戶測試記錄、測試報告以及評審記錄並經批準，適時更新並經批準。可追溯性分析此時應當分析用戶測試與用戶需求、用戶測試與風險管理的關係。同時，開展算法性能比較分析，若各類測試場景（含臨床評價）算法性能變異度較大，詳述原因並基於分析結果明確產品使用限製和必要警示提示信息。最後，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低於算法設計目標、算法性能變異度過大等情況，對產品的適用範圍、使用場景、核心功能進行必要限製。

基於測評數據庫開展的，除滿足數據庫通用要求（如數據管理、網絡安全與數據安全、可擴展性）外，還應滿足權威性、科學性、規範性、多樣性、封閉性和動態性要求。不應使用公開數據庫作為測評數據庫。

0 5

部署運行

算法發布和更新時應在相關文件列明算法關鍵模塊的功能、接口、版本、存儲形式（如pt、pth、bin、onnx、pb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關係；軟件的前後端部署方式；對基礎軟件和硬件的依賴和兼容性要求等。

0 6

更新控製

人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體係的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿於更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引入回滾機製，以保證醫療業務的連續性，特別是對風險較高的軟件。

軟件版本控製應當基於合規性要求確定軟件版本命名規則，涵蓋自研軟件、現成軟件、算法（算法驅動型更新或數據驅動型更新）網絡安全的全部軟件更新類型，明確並區分重大軟件更新和輕微軟件更新，並符合軟件版本命名規則的要求。

對數據集進行用途（如訓練、調優、測試、驗證等）的變更，應按照數據集管理體係的要求進行確認形成記錄。高控製等級的數據集停用後數據可流入低控製等級的數據集，不允許低控製等級的數據集向高控製等級流動（測試集數據可變更為訓練和調優使用，不可將訓練集、調優集的數據變更為測試使用）。數據集數據的變更，應按照建立數據集過程相同的質量體係進行管理，並記錄更新內容和版本變更。

0 7

網絡與數據安全

人工智能醫療器械全生命周期過程中應當考慮網絡安全與數據安全問題，對網絡與數據安全過程的控製要求形成文件，包括數據轉移要求，數據整理、數據集構建、算法訓練等內部活動開展過程中的數據汙染防護措施，以及數據標注、軟件確認等涉及外部活動開展過程中的數據汙染防護措施及數據接口要求。

各數據庫（集）均需進行數據備份，明確備份的方法、頻次、數據恢複方法。

數據庫和數據集訪問應明確授權訪問管理要求，形成文件及記錄。

人工智能醫療器械軟件應明確算法的軟件安全性級別（輕微、中等、嚴重）並詳述判定理由。應形成算法風險管理資料，明確過擬合與欠擬合、假陰性與假陽性、數據汙染與數據偏倚（如數據擴增引入的偏倚）、中外差異等風險的控製措施。

0 8

可追溯性分析

可追溯性分析應當建立控製程序，涵蓋軟件、現成軟件、算法及數據、網絡安全的控製要求，形成軟件及算法的可追溯性分析報告。使用可追溯性分析工具保證軟件開發、軟件更新過程滿足可追溯性要求，並貫穿於軟件生存周期全過程。提供算法可追溯性分析報告等相關文件及記錄，即追溯算法需求、算法設計、算法實現、算法驗證與確認、風險管理、數據集的管理。若無單獨文檔可提供軟件可追溯性分析報告，並注明算法可追溯性分析所在位置。

以上僅對《檢查指南》部分內容進行轉載，如需查看全文，請點擊“閱讀原文”

信息來源：北京市藥監局

排版整理：金飛鷹藥械

醫療器械企業實施唯一標識的流程是什麼？

你關注的→有關UDI編碼環節的6個問題答疑！

醫療器械唯一標識實施解讀

速看→全國各省市UDI推進動態

未按法規要求實施UDI，企業將承擔哪些直接後果？

中美UDI在實施上有哪些不同？