如今，人工智能已經(jīng)可以做決定，但我們?nèi)圆恢肋@個(gè)決定是如何做出的。人們需要了解人工智能如何得出某個(gè)結(jié)論背后的原因，而不是僅僅接受一個(gè)在沒(méi)有上下文或解釋的情況下輸出的結(jié)果。

近日，微軟前全球執(zhí)行副總裁沈向洋在接到清華大學(xué)續(xù)聘書(shū)時(shí)，通過(guò)直播方式分享了對(duì)AI可解釋性與AI偏見(jiàn)相關(guān)問(wèn)題的研究與看法。他提到，AI就像一個(gè)黑匣子，能自己做出決定，但是人們并不清楚其中緣由。所以，我們目前需要做的就是將其打開(kāi)，了解AI想表達(dá)的意思和可能會(huì)做出的決定。這就需要設(shè)計(jì)和構(gòu)建“負(fù)責(zé)任”的AI。

那么，AI的可解釋性指什么?是什么導(dǎo)致人們無(wú)法對(duì)AI的行為進(jìn)行解釋?人工智能如何做決策?研究人員可以怎樣做讓這些決策更加透明?

尚無(wú)法完整解釋決策過(guò)程

有人說(shuō)，不確定性是AI的特征之一。

所有重大技術(shù)突破的出現(xiàn)，往往都伴隨著相同的問(wèn)題：如何確保技術(shù)的可靠。例如，在電子時(shí)代制造和使用電子產(chǎn)品時(shí)，人們可以通過(guò)技術(shù)資料了解所有的元件構(gòu)成，從而得以信賴(lài)它們。又如，許多技術(shù)和生活場(chǎng)景中有檢視清單的存在，它能指導(dǎo)我們?nèi)绾魏侠硗瓿梢患蝿?wù)。然而，到了人工智能時(shí)代，情況則不然。

“如今，AI已經(jīng)可以做決定，這是AI過(guò)程中非常重要的一步，但我們?nèi)匀狈?duì)AI所做決定的認(rèn)知。”沈向洋告訴科技日?qǐng)?bào)記者，從某種程度上來(lái)講，你建立一個(gè)模型、算法，輸入數(shù)據(jù)，之后人工智能會(huì)產(chǎn)生一個(gè)結(jié)果。一切看上去順理成章，但是有一個(gè)問(wèn)題——我們尚不能完整解釋為何人工智能會(huì)得出這樣而不是那樣的結(jié)論。

沈向洋進(jìn)一步解釋?zhuān)覀儗⑦@種只能看到數(shù)據(jù)導(dǎo)入和輸出，而無(wú)法看到和解讀其工作原理的模型比作‘黑箱’，而將可以知曉?xún)?nèi)部工作原理的模型稱(chēng)為‘白箱’。人們需要了解人工智能如何得出某個(gè)結(jié)論背后的原因，而不是僅僅接受一個(gè)在沒(méi)有上下文或解釋的情況下輸出數(shù)據(jù)和信息的結(jié)果。”沈向洋指出。

顯然，我們不能將明天交付給一個(gè)個(gè)無(wú)可解釋的“黑箱”。“我們?cè)趯W(xué)習(xí)的時(shí)候，經(jīng)常說(shuō)不僅要知其然，還要知其所以然。”沈向洋表示，人工智能的可解釋性，指的是要“知其所以然”，要了解背后的原因和邏輯，是能回答“為什么”。

“以決策場(chǎng)景下的模型可解釋性為例，端到端的深度學(xué)習(xí)，一個(gè)廣為詬病的問(wèn)題是其不透明性或不可解釋性，比如說(shuō)識(shí)別一張照片中的物體，機(jī)器做出的判斷是基于哪些有效特征，我們無(wú)從得知。”阿里安全圖靈實(shí)驗(yàn)室負(fù)責(zé)人、資深專(zhuān)家?jiàn)W創(chuàng)認(rèn)為，人工智能系統(tǒng)必須具有可解釋性，以便人類(lèi)可以理解系統(tǒng)的行為。

研究發(fā)現(xiàn)，一個(gè)用來(lái)判斷圖片中的動(dòng)物是狼還是哈士奇的AI模型，在六幅圖片中只判斷錯(cuò)了一幅，看起來(lái)準(zhǔn)確率尚可接受，可其背后有極大的隱患。因?yàn)槿绻麖木植烤S度觀察，發(fā)現(xiàn)它識(shí)別出狼的標(biāo)準(zhǔn)，根本不是狼的樣子，而是以圖片背景中的雪為標(biāo)準(zhǔn)。如果一頭狼走入沒(méi)有積雪的家中，卻因此被識(shí)別為哈士奇，那就可怕了。顯然，我們無(wú)法信任這樣的模型，這也說(shuō)明了模型可解釋性的重要意義。

目前的解釋說(shuō)明或損害用戶(hù)信任

如今，AI的規(guī)范應(yīng)用正在成為一個(gè)社會(huì)問(wèn)題，去年，歐盟出臺(tái)《人工智能道德準(zhǔn)則》，明確提出AI發(fā)展方向應(yīng)該是“可信賴(lài)的”，包含安全、隱私和透明等方面。

“無(wú)人駕駛、人臉識(shí)別、智慧城市、智能家居等各類(lèi)場(chǎng)景中都在運(yùn)用AI，但一旦后端控制系統(tǒng)被攻擊，出現(xiàn)規(guī)?；⑦B鎖式的崩盤(pán)，AI失控的后果不堪設(shè)想。”奧創(chuàng)指出。

比如，無(wú)人駕駛車(chē)要通過(guò)識(shí)別交通信號(hào)標(biāo)志來(lái)決定通行還是停止，而攻擊者可以生成一個(gè)欺騙通行標(biāo)志的對(duì)抗樣本，在行人眼里是禁止通行，但AI系統(tǒng)會(huì)識(shí)別成允許通行，這足以造成災(zāi)難性的后果。再如，自2016年以來(lái)，很多地方都推出用于預(yù)測(cè)未來(lái)罪犯的軟件，法庭在審判時(shí)已經(jīng)開(kāi)始用AI進(jìn)行輔助判斷。然而，越是如此，人們?cè)綍?huì)擔(dān)心算法是否存在偏見(jiàn)。

沈向洋指出：“‘黑箱’帶來(lái)的挑戰(zhàn)在于，即便其做出的預(yù)測(cè)是準(zhǔn)確的，我們卻仍不知何時(shí)可以信賴(lài)它，或者從中學(xué)到什么。更進(jìn)一步說(shuō)，即便模型是準(zhǔn)確的，在做高風(fēng)險(xiǎn)決策時(shí)，也需要知道究竟是什么原因使然。”

人工智能怎樣做決策?“目前有種方法可提供解釋說(shuō)明，包括人工智能系統(tǒng)如何運(yùn)行、怎樣與數(shù)據(jù)進(jìn)行交互的背景信息，但其最有可能損害用戶(hù)以及受這些系統(tǒng)影響的人員的信任。通過(guò)這些信息，人們將會(huì)更容易識(shí)別和意識(shí)到潛在的偏見(jiàn)、錯(cuò)誤和意想不到的結(jié)果。僅僅發(fā)布人工智能系統(tǒng)的算法很難實(shí)現(xiàn)有意義的透明度。最新(通常是最有發(fā)展前途的)人工智能技術(shù)，例如深度神經(jīng)網(wǎng)絡(luò)，通常沒(méi)有任何算法輸出可以幫助人們了解系統(tǒng)所發(fā)現(xiàn)的細(xì)微模式。”沈向洋指出。

鑒于此，人們需要一個(gè)更全面的方法，使人工智能系統(tǒng)設(shè)計(jì)人員能夠盡可能完整、清晰描述系統(tǒng)的關(guān)鍵組成要件。據(jù)了解，微軟也在與人工智能合作組織及其他組織合作開(kāi)發(fā)最佳實(shí)踐規(guī)范，以實(shí)現(xiàn)人工智能系統(tǒng)有意義的透明度。包括通過(guò)實(shí)踐規(guī)范以及各種其他更易于理解的方法、算法或模型，來(lái)替代那些過(guò)于復(fù)雜且難以解釋的方法。

準(zhǔn)確率和可解釋性不該是對(duì)矛盾

要理解機(jī)器學(xué)習(xí)模型內(nèi)部如何運(yùn)行，開(kāi)發(fā)出新技術(shù)，來(lái)提供更有意義的透明度，需要對(duì)這一領(lǐng)域開(kāi)展進(jìn)一步研究。

來(lái)自微軟的里奇·卡魯阿納等學(xué)者提出“提煉與比較”(Distill-and-Compare)的方法。據(jù)沈向洋介紹，面對(duì)許多已被廣泛應(yīng)用的專(zhuān)有或不透明的模型，這種方法能夠在不探測(cè)“黑箱”API(應(yīng)用程序接口)或預(yù)先定義其特性的情況下進(jìn)行核驗(yàn)。通過(guò)將“黑箱”視作老師，訓(xùn)練出透明的學(xué)生模型，來(lái)模擬原本的“黑箱”，并將它與真實(shí)情況進(jìn)行對(duì)比。

而微軟研究院有學(xué)者提出“‘黑箱’無(wú)關(guān)”的思路，當(dāng)醫(yī)生無(wú)法采納“黑箱”對(duì)病人感染流感率的預(yù)測(cè)結(jié)果時(shí)，一種解決方法是利用特征歸屬的辦法——根據(jù)不同特征之于模型的重要性，為其賦予權(quán)重。其中，解釋過(guò)程認(rèn)為“打噴嚏”“頭疼”是指向流感的證據(jù);而沒(méi)感到疲憊，則是否認(rèn)流感的證據(jù)。這里權(quán)重帶有正向或反向的方向性，同時(shí)其權(quán)重大小也各不相同，“頭疼”的權(quán)重要明顯高于“打噴嚏”。對(duì)于醫(yī)生來(lái)說(shuō)，這樣的解釋要比簡(jiǎn)單給出一個(gè)“患流感概率90%”有用得多。

沈向洋表示，隨著神經(jīng)網(wǎng)絡(luò)模型越來(lái)越復(fù)雜，在準(zhǔn)確性越來(lái)越高的同時(shí)，研究人員遇到一個(gè)問(wèn)題，即不得不在模型的準(zhǔn)確性和可解釋性之間做出妥協(xié)，因?yàn)閮烧叱ｋy以兼顧。尤其隨著在深度學(xué)習(xí)模型上進(jìn)一步推進(jìn)，經(jīng)常會(huì)牽扯到幾百萬(wàn)個(gè)乃至數(shù)十億的參數(shù)。結(jié)果是，有時(shí)候研究人員做出一個(gè)行之有效的模型，卻并不能完全理解其中的緣由。如用一個(gè)高準(zhǔn)確率的模型來(lái)預(yù)測(cè)病人感染流感的幾率，卻只能給醫(yī)生呈現(xiàn)一個(gè)數(shù)字，或是“陽(yáng)性”的診斷，而無(wú)具體佐證，那么，即便得到的結(jié)論是正確的，在醫(yī)生看來(lái)也用處不大——因?yàn)獒t(yī)生并不知其結(jié)論是如何被推導(dǎo)出的。

因此，要打造負(fù)責(zé)任的人工智能，確保其決策透明，即“我們能夠理解并看到人工智能所做的決定”，尤其需要開(kāi)發(fā)可翻譯、可解釋的人工智能模型，以了解人工智能是如何做出這些決策的。特別是在事關(guān)重大的關(guān)鍵領(lǐng)域中，需要對(duì)模型全面理解，以此避免出現(xiàn)錯(cuò)誤。高準(zhǔn)確率和高可解釋性的人工智能將有助真正將技術(shù)進(jìn)行廣泛、負(fù)責(zé)任、有效的應(yīng)用，造福人類(lèi)生活。(華 凌)