文章資訊

讓AI不再是黑盒子,讓AI也說出個道理

讓AI不再是黑盒子,讓AI也說出道理
AI可解釋性淺談

撰寫者
: Doris kao

深度學習可以幫我們解決很多問題並用在很多任務上,包括影像分類、目標偵測、影像分割…等。由於近來大家想知道深度學習模型在訓練過程中學到了什麼?在影像任務中,又從影像中看到什麼來做為它判斷的依據?可解釋性AI是可以知道這些答案的方式。可解釋性AI的方法有 CAMGrad-CAM以及Grad-CAM++。在這裡我們想介紹Grad-CAM,這方法於2017年發表在IEEE期刊上。

方法
Grad-CAM的全名是Gradient-weighted Class Activation Mapping,在論文中是這樣介紹Grad-CAM:「對於特定感興趣的決策值,Grad-CAM用回傳到CNN模型中最後一層卷積層的梯度資訊來決定每個神經元的重要程度。」對於每一張輸入的影像,Grad-CAM會產生一張熱圖,表示模型認為重要的區域。Grad-CAM的優點是可以廣泛應用到不同的CNN模型上,並且不需要更改原本的模型架構,也不需要重新訓練模型。


範例
接下來是可解釋性AI的簡單例子。我們以透過X光影像判斷是否有氣胸來示範,資料來源是Kaggle的競賽:SIIM-ACR Pneumothorax Segmentation。以下的結果是原始X光與Grad-CAM產生的熱圖疊加後的影像,而競賽所提供的Segmentation標記為紅色區域,可以分為四種情況:
  1. 判斷為有氣胸,實際上為氣胸
  2. 判斷為有氣胸,實際上沒有氣胸
  3. 判斷為沒有氣胸,實際上為氣胸
  4. 判斷為沒有氣胸,實際上沒有氣胸

特別是在第一種判斷為有氣胸,且實際上有氣胸的情況,從其影像中有一個有趣的發現:模型在判斷是否有氣胸時,不只是看有氣胸的區域,它還會去看X光影像中的胸管,此外其他種判斷中AI也會去關注胸管。

討論:
氣胸偵測的題目過去有Stanford Machine Learning Group提供CheXpert數據,標記為15個胸部疾病分類,Andrew Ng團隊也有做此數據集的模型,然而比較跟放射科醫師的判讀沒有顯著差異。這可能源自於影像上可能會有經過醫師判斷過而放置的胸管,而胸管的特徵明顯,因此AI可能會學習到這些胸管。
然而AI可以不是黑盒子,Grad-CAM可以提供可解釋性讓我們理解AI學習到的特徵,另一個可以避開這樣問題就是將分類問題轉化成切割問題,讓AI專注在病灶上。