在上一節(jié)中我們介紹了建模后深度學(xué)習(xí)可解釋性方法之一：隱層分析法，但我們也會(huì)發(fā)現(xiàn)隱層分析法的一個(gè)問(wèn)題在于，通過(guò)端到端訓(xùn)練的隱層很多時(shí)候并沒(méi)有什么特定的含義，多數(shù)依賴(lài)我們的主觀(guān)判斷。但是深度學(xué)習(xí)模型中往往只有輸入層對(duì)我們來(lái)說(shuō)才是有意義的，所以了解深度學(xué)習(xí)模型的一個(gè)更直觀(guān)的方法是通過(guò)研究輸入層的變化對(duì)結(jié)果的影響來(lái)判斷輸入變量或輸入樣本的重要性，這也是通常所說(shuō)的敏感性分析方法。

敏感性分析（Sensitivity Analysis）是一類(lèi)非常重要的，用于定量描述模型輸入變量對(duì)輸出變量的重要性程度的方法，在經(jīng)濟(jì)、生態(tài)、化學(xué)、控制等領(lǐng)域都已經(jīng)有了非常成熟的應(yīng)用。假設(shè)模型表示為  ，敏感性分析就是令每個(gè)屬性在可能的范圍變動(dòng)，研究和預(yù)測(cè)這些屬性的變化對(duì)模型輸出值的影響程度。我們將影響程度的大小稱(chēng)為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，就說(shuō)明屬性對(duì)模型輸出的影響越大。一般來(lái)講對(duì)于神經(jīng)網(wǎng)絡(luò)的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來(lái)檢驗(yàn)輸入屬性變量對(duì)模型的影響程度，樣本敏感性分析用來(lái)研究具體樣本對(duì)模型的重要程度，也是敏感性分析研究的一個(gè)新方向。

1. 變量敏感性分析

神經(jīng)網(wǎng)絡(luò)中的變量敏感性分析方法大概有以下幾種：基于連接權(quán)的敏感性方法，基于偏導(dǎo)的敏感性分析方法、通過(guò)改變輸入變量觀(guān)察其影響的方法和與統(tǒng)計(jì)方法結(jié)合的敏感性分析方法。

基于連接權(quán)的敏感性分析方法

基于連接權(quán)的方法中比較有代表性的工作是Garson等人1991年在《Interpreting neural network connection weights》提出的方法，這種來(lái)自于“遠(yuǎn)古時(shí)期”的智慧相對(duì)來(lái)說(shuō)就要簡(jiǎn)單粗暴一點(diǎn)。輸入變量  對(duì)輸出變量 的影響程度為：