文章資訊

讓AI不再是黑盒子,讓AI也說出個道理——淺談AI可解釋性

撰寫者: Doris Kao
深度學習可以幫我們解決很多問題,並用在很多任務上,包括影像分類、目標偵測、影像分割…等。近來許多人好奇,深度學習模型在訓練過程中學到了什麼?在影像任務中,又從影像中看到什麼來做為它判斷的依據?可解釋性AI是此類問題的解答。可解釋性AI的方法有 CAM、Grad-CAM以及Grad-CAM++。在這裡我們想介紹Grad-CAM,這方法於2017年發表在IEEE期刊上。


方法
Grad-CAM的全名是Gradient-weighted Class Activation Mapping,論文中是這樣介紹Grad-CAM:「對於特定感興趣的決策值,Grad-CAM用回傳到CNN模型中最後一層卷積層的梯度資訊,來決定每個神經元的重要程度。」對於每一張輸入的影像,Grad-CAM會產生一張熱圖,表示模型認為重要的區域。Grad-CAM的優點是可以廣泛應用到不同的CNN模型上,且不需更改原本的模型架構,也不需重新訓練模型。



範例
接下來是可解釋性AI的簡單例子。我們以透過X光影像判斷是否有氣胸來示範,資料來源是Kaggle的競賽:SIIM-ACR Pneumothorax Segmentation。以下的結果是原始X光與Grad-CAM產生的熱圖疊加後的影像,而競賽所提供的Segmentation標記為紅色區域,可以分為四種情況:

  1. 判斷為有氣胸,實際上有氣胸
  2. 判斷為有氣胸,實際上沒有氣胸
  3. 判斷為沒有氣胸,實際上有氣胸
  4. 判斷為沒有氣胸,實際上沒有氣胸
在第一種判斷為有氣胸,且實際上有氣胸的情況,其影像中有一個有趣的發現:模型在判斷是否有氣胸時,不只是看有氣胸的區域,還會去看X光影像中的胸管,此外其他種判斷中AI也會去關注胸管。

討論
氣胸偵測的題目過去有Stanford Machine Learning Group提供CheXpert數據,標記為15個胸部疾病分類,Andrew Ng團隊也有做此數據集的模型,然而比較跟放射科醫師的判讀沒有顯著差異。這可能源自於影像上偶爾會有經過醫師判斷過而放置的胸管,而胸管的特徵明顯,因此AI可能學習到這些胸管。

AI可以不是黑盒子,Grad-CAM提供可解釋性讓我們理解AI學習到的特徵;另外,將分類問題轉化成切割問題,讓AI專注在病灶上,也可避免AI不可解釋的問題。