人工智慧黑箱問題解決方法

❶ 魔鬼人工智慧諾曼，能反向馴化成天使人工智慧嗎

去年年中，麻省理工學院媒體實驗室（The MIT Media Lab）的一個三人團隊，聯手創造了世界上第一個惡魔人工智慧——諾曼（Norman）。

諾曼本身是一個簡單的人工智慧，把圖像輸入給他，他就會輸出一段自己對這個圖像的描述文字。跟普通人工智慧一樣，諾曼需要訓練，而諾曼的整個訓練過程，使用的都是來源於網路上充滿消極情緒的圖片和文字描述，最終導致諾曼在對圖像進行判斷的時候，所輸出的描述文字，都是消極的。

「諾曼」這個名字本身，就來源於希區柯克的經典電影《驚魂記》中的變態旅館老闆諾曼貝茲。

諾曼起初是為了研究精神病療演演算法，通過這種療法研究精神病的治癒方式。但是但是進一步的 研究已經超越了這個范疇。更多的人開始思考人工智慧的偏見。

現實生活中的AI若受到有缺陷數據的訓練，它們可能產生類似負面狀況，也就是產生偏見。

去年5月，美國法院用於評估囚犯風險的AI，被指出對黑人囚犯有偏見。微軟2016年發布的聊天AI，很快就被種族主義者帶壞，開始捍衛某些人種至上主義，呼籲種族滅絕並表達出對希特勒的熱愛。

從偏見產生的根源看，其實只要是經過人篩選的數據本身就帶有人的主觀性，同時也很難把一個范疇內所有客觀情況都輸入給人工智慧，所以進入到人工智慧的數據，本身就是主觀的。事實上也很難把兩個人為的觀念完全區分開來。所以偏見其實是客觀存在的，很難根除，假設我們接受人工智慧的偏見，那我們怎麼解決人工智慧的偏見？

諾曼的研究人員給出了一個想法：希望更多的人，對諾曼的積極訓練改變它的魔鬼思想，馴化為天使的思想。

從人工智慧可以訓練的角度來看，人工智慧是肯定可以被訓練的，但是它的魔鬼的部分，還是有可能會重新顯現出來。原因，就是它經過了1萬次的魔鬼訓練，再經過一千萬次天使訓練之後，它可能還是有殘留魔鬼的思想。

由於訓練本身是一個黑箱，我們其實沒法直接判斷這個黑箱裡面全部信息到底還有沒有魔鬼的部分。

阻斷療法：

最簡單，最直接的方法，就是放棄這個人工智慧，不再使用這個人工智慧，就好像判了一個人工智慧死刑。徹底清空並重新訓練人工智慧。

為什麼是放棄整個人工智慧？我們知道，由於人工智慧是一個黑箱，人工智慧其實是一個獨立的智能，一個完整的人工智慧，我們沒法分隔它所知道的知識。

但是當這個人工智慧本身，存在一些有價值的判斷的時候呢？直接清除掉，就把有價值的部分也清除掉了，可能不是最好的辦法。

反觀我們人類世界，人類面對一個惡魔，法律的最高懲罰，其實就是清除他。而這個法律的依據，就是人類自古就有的一報還一報思想。

疏通療法：

指尖科技說編者這個時候，想起兩個人：裘千仞和弗蘭克

《神鵰俠侶》中的裘千仞心機算盡，被認為是小人和險惡的代表，但是在他抱著宿敵的嬰兒小郭襄的時候，本來可以一掌報仇，卻在被黃蓉設計偷走小郭襄後，一刻頓悟，從此皈依佛門。如果覺得這個例子，只是小說，那我們看看真實的案例。

弗蘭克·阿巴內爾就是真實案例，他16歲就開始偽造銀行支票，騙取多國銀行的250萬美元並被多國通緝，他假扮老師給學生上課，假扮醫生給病人開葯、假扮飛行員與空姐談戀愛。入獄後在獄中協助破案，最終出獄後和美國政府機關合作，成就了一個著名的安全顧問公司。

裘千仞的頓悟，滔天局騙的改過自新，都說明人類意識的改變，可以讓人刷新整個意識體系。

這其中有一個非常關鍵的因素：人類的大腦，可以同時存在兩種相互矛盾的思想，而無礙於其處世行事。

這正是心理學家托利得提出的托利得定理。

於是我們可以嘗試思考：人工智慧可以同時存在兩種完全矛盾的思想，並仍然無礙於其處世行事嗎？

指尖科技說我現在只能想到一種實現方案：就是給人工智慧一個高級的控制機制。

在人工智慧的高一個層次，進行控制。我也認為只有這種方法，才能徹底解決人工智慧傾向性問題。

而現階段，人工智慧技術並非不能做到， 就是在人工智慧基礎上多做一層人工智慧道德篩選 。

例如諾曼得到了惡魔的思想，我們卻在後面一層進一步分析諾曼得到的結果，是否合適人類意志，如果具有明顯的傾向性，我們就排除掉。

但指尖科技說我也承認，這並非最好的解決方案。最好的解決方案肯定是在人工智慧黑箱里直接進行高一級的控制，這樣是最高效的。

假設人工智慧偏見這個問題解決了，我們就不用再害怕我們給到人工智慧的是有偏見的數據。甚至可以把這個技術運用到人類身上，使用腦機介面判斷人類思想，然後進行進一步控制。從而讓一些罪犯，從大腦思想上改變自身，而不僅是肉體上的清除。

❷ 人工智慧在地震勘探中的應用新進展

隨著信息化時代到來，地震勘探正向著智能化方向發展。各個企業、科研院在地震勘探研究和應用中，都加大了對人工智慧技術（AI）地使用，通過智能化手段提高了勘探的效率和精度，取得了地球物理資源開發利用更大的成就。

為了更好的研究和開發我們生存的家園——地球，產生了一門用物理測量和數學研究的學科，這就是地球物理學。地球物理學中通過地質樣本進行直接研究的方法，稱為地探。另外一種通過儀器進行地球觀測的方法，稱為物探。在物探方法中，包括了重力、磁法、電法、地震、放射性等多種方法。其中勘探石油天然氣資源最有效的方法就是地震勘探。

地震勘探是用地下岩石彈性差異來進行地球物理勘測的方法，通過激發人工地震，研究地震波在地下傳播的規律，以查明地下地質的構造。

在國際國內地震勘探領域，隨著AI技術飛速發展，大量AI+地震勘探的研究成果不斷涌現。根據SEG最近幾年對AI技術研究成果地統計，深度學習方法已經成為主流。其中卷積神經網路模型（CNN）的研究最多，佔比60%以上，生成對抗網路模型（GAN）佔比10%左右，循環神經網路模型（RNN）佔比10%左右。其餘的研究方法還包括機器學習的演算法，如隨機森林、字典學習等等。很多論文還會結合多種方法聯合使用，達到更好的應用效果。

從應用領域來看，熱門的研究領域包括了數據預處理、構造解釋、儲層識別等領域。

1.數據預處理

數據預處理主要是實現地震道集的優化，包括了雜訊壓制、解析度提高、缺失道恢復等。

有學者提出了深度殘差網路、自編碼卷積神經網路、深度卷積神經網路等進行了隨機雜訊壓制。

還有學者通過建立多尺度信息相互彌補的網路模型，實現了地震信號的解析度提高。

2.構造解釋

在構造解釋領域的典型應用包括了斷層識別、地層識別、邊界圈定等方向。

在斷層識別方向，伍新明等教授的團隊取得了較好的成果。主要成果包括了：一是通過機器演算法生成大量人工合成的地震斷層訓練標簽。二是通過機器學習演算法檢測斷層概率、斷層傾角等屬性信息。三是改進了神經網路演算法，實現了精細化的斷層識別。

在層位解釋方向，有學者通過自編碼的卷積神經網路模型，通過半監督的檢測方法，實現了地震體層位的自動拾取。

3.儲層預測

在地層解釋方向，有學者採用無監督學習地震特徵和有監督學習標注地層相結合方式，訓練了神經網路模型，在實際資料處理中取得了較好的效果。

地震相預測是儲層預測的一個熱門方向，其中主要方法是波形分類法。波形分類法是近年來機器學習在地球物理應用中的成熟方法，使用的模型包括了卷積神經網路（ CNN）、循環神經網路（ RNN）、概率神經網路（ PNN）、深度神經網路（ DNN）、 自編碼器網路（ AE）、生成對抗網路（ GAN）、 K 近鄰聚類（ KNN）等。

波形分類法的主要原理是抽取地震剖面數據學習地震屬性特徵，再對地震屬性進行聚類實現波形分類，最後對目標工區進行地震相的預測。現在也有使用深度神經網路模型（DNN、CNN、RNN、GAN等）直接進行波形特徵學習，並應用於地震相分類的。

比如有學者使用卷積神經網路學習了波形特徵，進行了河道、河灘等地震相分類。

地震反演是儲層預測中的一項重要工作，在這個領域涵蓋了反射系統反演、彈性參數反演、物性參數反演、工程參數反演、岩石參數反演、全波形反演、地震初至旅行反演等眾多研究方向，採用的方法包括了機器學習和深度學習各類流行的演算法模型。

比如有學者採用級聯和卷積神經網路在時間域角度反演了岩石物理參數，包括縱橫波速度、密度、孔隙度、含水飽和度等。

岩石物理分析是儲層預測中比較直接研究地質構造的一類方法，研究方向包括了對測井曲線預測和進行數字岩心的預測。

有學者運用三維卷積神經網路，通過掃描岩石標本圖像預計孔隙度和彈性參數，應用於砂岩切片預測。

雖然人工智慧技術帶來了很多革命性的變化，但是在應用過程中仍然存在一些局限性：

1.數據缺乏統一性

目前地震勘探得到的數據類型眾多，數據量也很大。但是沒有建立一套標準的數據介面，缺乏數據統一管理的模式，造成人工智慧模型的數據輸入存在限制，無法自動化、規模化的訓練模型，無法對網路模型進行持續的改進。

2.模型處理過程可視化問題

網路模型存在黑箱問題，處理過程中的結果無法供研究人員掌握。還需要考慮將智能模型計算結果與地震勘探軟體進行疊加使用，滿足復雜圖層、多次分析要求。

3.高維度復雜數據處理問題

目前的人工智慧模型對一維數字、二維圖片等數據處理比較成熟。但是對三維以上的數據處理能力尚不成熟。在地震勘探工程中，存在大量的多維數據，比如地震數據體、油氣存儲屬性數據等。一方面高維度數據造成模型構造復雜度上升，另一方面大規模數據量也會造成數據處理時間成指數倍上升。人工智慧的數據處理難題，影響了地震勘探的精細化應用分析。

4.面對不同場景的適用性問題

人工智慧模型種類眾多，在解決不同地震勘探場景時具有多解性。當使用不同的訓練集數據，應用於不同的實際場景，可能會出現不同的實際效果。確立一套科學的場景應用模型設計，實現在特定訓練場景和應用場景中得到穩定的效果輸出，這是未來研究者需要努力的方向。

相關閱讀：

如何在地震勘探研究更上一層樓？帶你一起深度學習識別斷層

怎樣輕松入門地震勘探研究：先從地震數據處理開始

深度學習地震去噪實戰：教你如何從0開啟地震深度學習科研之路

❸ 什麼叫「黑箱實驗」

什麼是黑箱
古往今來，人類在探索物質世界的過程中，總會遇到一些內部結構尚不清楚的系統，在控制論中，把這樣的系統叫做黑箱。對某一未知系統（即黑箱）通過實驗和推理來研究其內部結構的問題，一般稱之為黑箱問題。
黑箱的作用
在物理教學中，黑箱及黑箱問題不僅能激發學生對物理學習的濃厚興趣，而且黑箱問題的分析和解決還能培養學生的邏輯判斷能力。推理能力、創造能力和應用物理知識解決實際問題的能力，所以在中學物理教學中應廣泛推廣這種黑箱及黑箱方法
黑箱的分類
黑箱的分類，
從物理學內容的角度來看，一般可以把黑箱分為力學黑箱、光學黑箱和電學黑箱、聲學黑箱等幾種，其中又以光學黑箱和電學黑箱較為常見；從教學功能上來說，黑箱又可以分為導入新課類黑箱、幫助建立概念、規律類黑箱、鞏固復習類黑箱及實驗訓練類黑箱等。黑箱的分類不是絕對的，從不同的角度去看有著不同的分類方法。
黑箱問題的解決方法
黑箱是一種未知系統，
在探索其內部結構時往往不能將其打開而成為「白箱」，因此，通常採用這樣的方法來解決：給黑箱輸人某一或某幾個信號（如光學信號、電學信號、力學信號等），觀察其輸出信號，然後進行推理，最終得出黑箱的內部結構。由於是通過邏輯推理的，所以最終結果有可能並不是唯一的，這就可以大大促進學生進行發散性思維，使思維得到發展。

❹ AI也有偏見，我們該如何信任它們

1970年，愛德華·肖特利夫（Edward H. Shortliffe）在斯坦福大學的實驗室里開始著手編寫一個Lisp程序。這個名為MYCIN的系統通過一系列的是非問題幫助醫生判斷病人是否患有遺傳性血液疾病，並根據病人體重建議抗生素用量。作為歷史上最早的專家系統之一，MYCIN的正確率僅為65%，相較血液科醫師80%的正確率相去甚遠，而且由於程序過於龐大，最終也沒有投入使用。

無獨有偶，2015年，有用戶發現谷歌的圖像識別系統將自己的黑人朋友標記為“大猩猩”，在推特上引起軒然大波。直到2018年，谷歌仍然沒有完全修復這一漏洞，只是將靈長類的標簽從系統中移除，並稱“圖像識別技術還不成熟”。同樣是2015年，紐約西奈山醫院用70萬病人的數據訓練了一個名為“深度病人”的深度神經網路，用以輔助醫療診斷。“深度病人”對精神分裂症的預測出乎意料地准確，但沒有醫生知道為什麼，自然也無法應用於自己的臨床診斷；當它被用於分析醫院以外的X光片時，系統正確率莫名出現了大幅下降。

“數據不會說謊。”但這絕不意味著我們不需要仔細審視它們，或是給予基於數據之上的AI系統無條件的信任。肖特利夫的MYCIN系統本質上是一個決策樹，屬於“透明”的模型——我們可以畫出從數據輸入開始完整的決策過程，從而評估MYCIN的決定。深度神經網路的性能遠遠優於決策樹，但它是一個“黑箱”——我們幾乎不可能確切地知道它在算什麼。性能與可解釋性似乎此消彼長。

對一位只追求正確率和性能的演算法工程師來說，黑箱AI未必不受待見：一個能夠准確預測95%的事件的黑箱系統，肯定比另一個正確率只有65%、更透明的系統好。可是，當工程師需要調整系統內部“零件”的時候（比如修復谷歌圖像識別系統），黑箱會讓這項任務無比艱難：到底是哪一步出錯了？是用於訓練的數據有問題，還是模型本身的性能不足，或是損失函數（loss function）有待改進？置身黑箱之外的工程師很難一針見血地指出病灶。

我們中的大多數人也許極少有機會成為工程師、法官、醫生，但這不妨礙黑箱AI對我們的生活造成影響。與我們的一廂情願相反，不夠透明的AI系統非但沒有比人類更客觀、公正、精確，反而加深了既存的偏見和不公正，對數字民主和基本人權構成威脅，而對這些系統的控制、介入和審計也更為困難。當我們無法解讀AI作出的決策，對它未來的預期不過是紙上談兵，信任也無從談起。

可解釋AI（Explainable AI，即XAI）想要解決的正是這類問題。XAI認為，通過解釋AI系統的決策過程，人類能夠更好地理解它的機制、優缺點、潛在影響等特性，從而更有效地預測系統的行為，達到逐步建立信任關系的效果。如果AI革命不可避免，至少一個可被解釋的系統能夠更好地融入嶄新的演算法社會契約——例如伊亞德·拉萬（Iyad Rahwan）提出的社會回環（Society-in-the-loop）——與人類共生存，而不必成為敵對的關系。

我需要一個解釋

可解釋AI終究是為人服務的（好比高階編程語言是為了人類設計的，否則機器之間的“交流”大可以用機器編碼之類人類無法輕易讀寫的“語言”）。所以“解釋性”也是相對人而言的。關於黑箱AI系統，什麼樣的解釋才是好的解釋？心理學家和哲學家早就開始分頭研究，但各執一詞。

解釋常常需要闡述特定的因果關系或因果模式，例如“我不吃杏仁，因為我對堅果過敏”。這樣的解釋非常貼切（沒有轉移話題），直接明了（不存在循環論證），邏輯嚴密。有的現象卻很難用通俗的因果關系解釋——請試著回答，“我擲了一次骰子，為什麼朝上的一面是3？”當然，你可以引用物理法則來解釋擲骰子的具體過程，但我可能一頭霧水。為了避免這樣的尷尬，你也許會提及相關的（非因果的）概念，比如“隨機性”，或是用類比等手法讓你的解釋更容易被聽眾接受（比如上一段的第一句話）。一般而言，因果關系在解釋中占據不可動搖的地位，但不是唯一的手段。

既然解釋本身可以有各種形式，為了篩選出最好的可解釋AI，我們為什麼不直接問：你理解這個系統在做什麼嗎？相關的心理學研究也的確使用了類似的方法來推斷人們是否能夠通過描述性解釋理解某一概念。它們發現，客觀上，當受試者對某一概念有更好的理解時，他們能通過主觀的直覺感覺到自己的認知進步，好比“茅塞頓開”。

然而，耶魯大學的列昂尼德·羅森布里特（Leonid Rozenblit）和弗蘭克·凱爾（Frank Keil）提出的“解釋深度的錯覺”（Illusion of Explanatory Depth）彷彿當頭一棒。羅森布里特和凱爾讓受試者首先評價自己對某一工具（比如拉鏈）的理解，然後詳細地解釋這個工具的工作機制，並再次評價自己的對它的理解。他們發現，相比一開始，試圖解釋後的受試者對自己理解的評價明顯下滑，彷彿突然意識到自己其實一知半解。這就是“解釋深度的錯覺”。這種錯覺影響著所有人（包括小孩子），並且只作用於解釋性的知識。完全相反的情況也不少見：人們會自稱不理解一個動力系統，卻能熟練地使用它。

另一方面，規范（normative）解釋在哲學（尤其是科學哲學）中發揚光大。規范解釋有意忽略個人因素，比如認知能力，而是關注“應有”的理解。因此，規范理解可以被視為一種基準，用來分析哪些信息應當被包含在解釋里，以及受眾會有何種程度的理解。更進一步地說，好的（規范）解釋應當從理解的目的出發，基於受眾與黑箱AI的關系給出不同的解釋。顯然，修補系統漏洞的工程師和審核系統公正性的法官所需的理解是不同的。我們可以合理假設前者具有足夠的技術知識背景，也許將計算模型可視化就提供了足夠好的解釋。後者需要的是更抽象的文字解釋，比如“其他條件不變，COMPAS系統預測黑人被告和白人被告被再次逮捕的概率不同。”兩種都是好的（規范）解釋，一旦互換卻可能成為各自的雞肋。

規范解釋看似更加直截了當，但在實際應用中還沒有確切實現或評估的共識。描述性解釋似乎也不甚完美。時至今日，我們仍未整合描述性解釋和規范解釋，關於解釋的研究和可解釋AI還在齊頭並進。

有了可解釋的AI就萬事大吉嗎？

2017年開始，美國國防高級研究計劃署（DARPA）投資了一系列XAI的項目，包括UCLA的VCLA中心的研究項目。2018年，ACM主辦了第一屆FAT*會議，關注AI系統的公正性、問責制和透明度。同年，AAAI與ACM共同舉辦第一屆AIES（人工智慧、倫理與社會）會議。谷歌、微軟等科技公司也陸續參與XAI的研發。各界對於XAI的關注促成了許多“拆穿”黑箱AI的嘗試，從DeepMind提出的機器心智理論（Machine Theory of Mind），到將黑箱神經網路轉化為“透明”的布爾電路（Boolean circuit），再到LIME（Local Interpretable Model-Agnostic Explanation）等通過近似黑箱模型提取重要特徵的方法。雖然XAI目前解釋的對象主要是工程師等研發人員，但是在未來，我們將會看到更多面向大眾的XAI，比如向你解釋如何開葯瓶的Baxter。

XAI並不是終點；它最多算一個起點，而我們還有許多亟待解決的問題。首先，對黑箱AI的解釋可以被悄無聲息地篡改，可以完全牛頭不對馬嘴，而且很難察覺。哈佛大學的希瑪賓度·拉卡拉朱（Himabin Lakkaraju）和她的學生們發現，只需在模型上動一些簡單的手腳，就能讓它濫用COMPAS數據集里的種族信息決定量刑，但一旦LIME來“視察”，它立刻擺出無辜的嘴臉，完全不露餡。這就意味著，即使有XAI為工具，我們對AI的信任也不應當盲目地依賴系統的可靠性和（表面上）信息的透明性，理智與批判性思考將格外重要。

其次，針對AI的條例的制定相對滯後於研發和應用。XAI的出現將會讓這個問題更加復雜——由於黑箱AI難以捉摸，且只有少數人具備解讀/修改的能力，研發機構不必過分擔心自己的科研成果泄漏（除非演算法模型被一鍋端）。如果面向用戶和公眾的解釋成為需求、甚至必須，既有的AI系統——無論透明與否——都有可能面臨一系列的風險，包括知識產權（利用反向工程重建系統）和系統安全（惡意的對抗攻擊）。信任與保密兩者的張力之下，XAI應當提供的解釋的具體內容尚無定論。

再者，偏見和不公不會因為解釋本身而消失；恰恰相反，解釋會暴露更多一直以來潛行在我們周圍的倫理問題。ProPublica對COMPAS的調查使人不禁發出疑問：系統性的種族偏見究竟在何種程度上滲透了美國過去十年間的量刑？隨著XAI的進步，一個個黑箱AI的廬山真面目逐漸顯露在我們眼前，不難想像其中有像COMPAS一樣的“幫凶”。我們能否通過公開討論解決結構性問題、完善問責制，這將是對AI和人類社會共同的挑戰。

❺ 演算法黑箱為何難治理

演算法黑箱半月談。隨著大數據、人工智慧等信息技術的快速發展,我們正在進入演算法經濟時代，以深度學習為代表的人工智慧演算法在互聯網信息傳播，數字經濟發展。

信息產業服務等諸多方面發揮了重要作用，產生了溢出性極強的經濟效益監管信任危機的根源在於企業在數據和演算法上的非對稱優勢，當前，基礎數據的所有權和控制權主要集中在互聯網平台企業。

簡介：

這些企業全程操縱演算法設計，運行，測試和分析，由此占據著優勢地位，監管部門在演算法社會中已經呈現出被邊緣化的趨勢，極易失去對關鍵數據和關鍵演算法的監督權和控制權，這意味著，演算法黑箱的存在勢必導致私人利益主觀上俘獲公共利益。

以及資本主觀上規避公權力約束等風險的產生，同時，演算法黑箱客觀上隱藏了演算法自身存在的缺陷，並可能觸發安全風險，讓監管機構難以審查演算法信息，監管機構規制演算法的內容與手段均受到限制，難以及時針對演算法問題進行問責和糾偏。

❻ 可解釋AI，如何打開演算法的黑箱

隨著以機器學習為代表的新一代人工智慧技術不斷朝著更加先進、復雜、自主的方向發展，我們的經濟和 社會 發展都紛紛迎來了變革性的機遇。但與此同時，AI演算法的透明度、可解釋性問題也為公眾信任、公共安全等諸多領域帶來了前所未有的挑戰。

1月11日 14日，「騰訊 科技 向善創新周」在線上舉辦。「透明可解釋AI——打開黑箱的理念與實踐」專題論壇即聚焦於此。論壇發布了《可解釋AI發展報告2022》，隨後由專家學者（見文末）共同參與了圓桌討論。以下為整理文章：

可解釋AI的概念共識

姚新：

大家在討論AI演算法的透明性和可解釋性的時候，首先應該考慮三個W的問題——Who，What和Why的問題。

首先，到底是對誰講透明和可解釋？因為從科學研究來說，任何一個研究都必須透明，都必須可解釋，否則這個論文是發不出來的。所以我猜過去講透明性和可解釋性，可能不是對科學家來說的可解釋性或者透明性，因為對科學家的透明性和可解釋性，不一定對大眾透明和可解釋。第二是解釋什麼？解釋模型做出來的結果還是解釋這個模型的工作原理。第三，解釋總是有一個目的，目的是要追責還是理解這個模型的科學原理。

根據對這三個W不同的答案，會得出非常不一樣的透明性和可解釋性，相應的解決辦法可能也完全不一樣。不管怎樣，考慮透明性和可解釋性的時候，首先大家要有一個概念上的共識，使得我們知道我們是講同樣一件事情，而不是用了同樣一個名詞，大家在不同的抽象層次講不同的問題。

吳保元：

可解釋是可信AI的重要組成部分，是可信的前提條件之一，但是相比於魯棒性、公平性等可信特性，我覺得可解釋不是獨立存在的概念。就是姚老師剛才提到的，我們到底在解釋什麼？其他的特性都是有自己明確的數學定義，比如魯棒性、公平性等，但是可解釋性是沒有的，因為我們單獨提到它的時候，背後默認的更可能是對模型准確度的可解釋性。或許這也可以解釋為什麼當前的可解釋研究思路這么多，但是好像沒有一個明確的框架，我覺得最主要的原因是它的解釋對象不一樣，沒有辦法統一到一起。

基於這種理解，我個人有一點小的想法，不應該把它稱為可解釋性，把它稱為可解釋力或許更准確。可解釋性，大家可能誤認為它是一種獨立存在的性質；可解釋力是一種可解釋的能力，就像我們說的理解力、領導力等等，它是一種手段，一種行為，一種操作存在，需要跟別的綁在一起。我覺得以後提到它的時候，應該准確地描述它是針對什麼特性的可解釋力，而不是籠統地說可解釋性如何。

可解釋AI的價值何在？

朱菁：

人們對於人工智慧系統可解釋性、透明性的要求，大致有四個層次：

第一個針對的是直接用戶，用戶需要了解人工智慧產品、服務背後的原理是什麼，這是建立可信任AI的重要基礎。可解釋AI，實際上支撐了可信任AI。

第二個層次，對於政策和監管部門，他們希望通過解釋原理來了解人工智慧產品的公平性、可問責性，歸因的過程是我們進一步問責、追究責任的基礎。所以，可解釋AI也與負責任的AI、可問責的AI是聯系在一起的。

第三個層次就是技術工程與科學層次，我們希望了解為什麼某些演算法能夠成功，它成功背後的奧秘是什麼，它的應用范圍是什麼，它能否在更大的范圍內使用這樣一些演算法或者是一些技術。

第四個是公眾理解AI，如果 社會 大眾大多數關心的話，他也能夠在這方面了解相應的技術、系統大體的工作原理方式是什麼。

何鳳翔：

在現在的AI系統中，其實很多演算法背後運作機制是未知的，是不清楚的，這種未知帶來了未知的、難以管理的風險，包括安全性、魯棒性、隱私保護、公平性等等。

這些點關繫到了 社會 運轉中非常關鍵、人命關天的領域，比如醫療、自動駕駛。這會帶來很大的應用方面的困難，以及 社會 對AI的不信任。因為當AI演算法運作機制是未知的時候，它的風險機制、風險大小、風險尺度就是未知的，我們就難以去管理風險，進而去控制風險。

可解釋AI的挑戰何在？

姚新：

原來我一個學生跟我做了一點關於公平性的工作，跟其他的文獻發現的點非常一致，就是說模型的准確性和公平性之間是相互矛盾的。性能最好的模型從公平性的角度來說，按指標來測量不見得最好，你要把模型做得都是最公平，用指標來衡量的話，它的性能就會受到損失。實際上可解釋性非常類似現在有各版的可解釋性指標，但是要真正考慮這些指標的話，模型的性能總是會掉下來，要考慮在實際過程中怎麼來找一個折中的方案。

吳保元：

針對可解釋性本身的不可行、不可取，這也是值得我們思考的問題。比如說我們在研究犯罪率或者說疾病的傳播率、發病率等，如果我們就拿現成的統計數據，比如在不同種族、不同地域採集的數據，很有可能會得出來某些種族或者某些地域犯罪率很高，這是因為數據採集的時候就是這樣的。這樣一來，如果可解釋給出的類似結論被公開，可能會造成種族或者地域歧視。但實際上數據背後是我們在採集的時候沒有採集其他特性，比如說為什麼這個地域的傳播率很高呢？很有可能是政府投入不足，或者說其他的因素。

所以這也啟發我們可解釋性本身它的可信性是什麼，它的准確性，它的公平性，它是否忽略了某些特徵，或者誇大了某些特徵，它的魯棒性，是不是把樣本變化一點，它的可解釋性截然相反，這些需要我們進一步思考。

另外，我跟很多研究可解釋的專家聊過，他們的困惑在於現在的可解釋性方法是不可印證的，甚至是矛盾的，這就引出了可解釋性方法本身的可信度的問題。

何鳳翔：

在我看來，理解深度學習演算法的運作機制，大致有理論和實踐兩條路徑。在理論方面，當前的研究無法完全解釋理論上泛化性較差的深度模型為何能在多領域取得如此的成功。這種理論與實踐的矛盾，就像曾經物理學中的烏雲一樣，反映出來了人們對於機器學習理解的缺失，而這是現在在理論上提升演算法可解釋性的一個難點。

而在實驗角度上，很多實驗學科中的做法可以作為對於機器學習研究的啟發，比如說物理學、化學，以及剛才提到的醫療。比如說葯物研發流程中的合格檢驗，要做雙盲實驗；在物理學、化學的研究中，對控制變數實驗有嚴格要求。類似的機制是否能在AI研究中嚴格執行呢？我覺得這可能是另外一條路徑。在我看來，現有的很多對於AI演算法的解釋是啟發式的，而在關鍵領域中我們需要的是證據，這需要在理論和實驗兩方面做很多工作。

可解釋AI如何實現？

朱菁：

前面很多專家都指出對於解釋有不同的目標，不同的對象，不同的要求，所以實際上關於人工智慧的可解釋性問題可能是屬於多元性的，就是要允許有多種不同層次不同方式的解釋在這裡面起作用，針對不同的領域、不同的對象，使用不同解釋的方式。

當可解釋性有它的局限或者和其他的目標、要求，需要做出權衡取捨的時候，我們想也可以從多個層面來進行替代性的，或者說是補償性、補充性的策略。比方說針對監管部門，它對於可解釋性的要求，和面向公眾或者專家層面的，會有所不同，所以這個可以通過若干個層次，比如說監管部門的，行業的，市場的，以及傳播普及層面的，對於安全性、魯棒性要求更高一些，或者在專家層面上有更好的溝通理解，而對於 社會 公眾而言，這裡面就需要有一些轉換，同時有需要一些權威部門，有公信力的部門，向 社會 做一些說明和認定。

姚新：

深度神經網路可以解決特別復雜的問題，我覺得現在大家用深度網路有一個原因，即所針對的問題本身可能就比較復雜。這是一個假設。假如這個假設是對的話，那麼相應的可解釋性不會特別好理解。因為需要對付這些復雜性，相應的模型就必然是要復雜。

所以我總覺得透明性、可解釋性和性能之間是有一個固有的矛盾，如果現在把從技術上討論的方向，是怎麼找一個折中方案，根據不同的場景、可解釋的目的，找不同折中方案，這樣導致有可能會出來一些比較具體的技術，或者可以促進這些技術往落地的方向走。

吳保元：

我們嘗試過一些從技術上可行的方案去量化各種可信特性，但是，要實現統一量化很困難，比如說公平性和魯棒性都有不同的量化准則和指標。當把不同的特性簡單組合到一起的時候很難優化，因為它們的准則是高度不對齊的，差異非常大，這就涉及怎麼去對齊這些特性坐標。我認為想要找到一個全局坐標系是非常困難的。我們可以從局部出發，針對某種場景，比如醫療場景，首先把隱私性當做前提，在金融或者自動駕駛，我們把魯棒性當做前提，然後再去研究其他特性，或許一步一步能夠找到這種坐標系。

可解釋AI的技術現狀？

鄭冶楓：

總體來說，因為我們現在還缺乏非常好的理論框架，所以可能針對問題，我們創造性地想一些演算法，試圖提高本身這個系統的可解釋性，給大家舉兩個例子來說明一下我們天衍實驗室在這方面的 探索 。

深度學習可能有千億、萬億的參數，這對於醫生來說太復雜了，他很難理解這個演算法的底層原理，演算法本身可能缺乏一個全局的可解釋性。但是深度學習框架准確率非常高，所以我們不可能不用。而可解釋性非常好的模型就是回歸模型，這類模型主要的問題就是准確率太低。所以我們做了一個 探索 ，我們希望把這兩個模型結合起來，它具有非常高的准確率，還有一定的可解釋性，不是完全可解釋性。

我們把這個混合模型用於疾病風險預測，就是根據病人歷次的就診記錄，我們預測病人在未來6個月之內得某個重大疾病的概率，比如他得卒中的概率。病人每一次的就診記錄包含大量信息，這裡面我們需要提取一些跟預測目標相關的重要信息，我們知道生物學習網路最擅長的就是自動特徵學習。所以我們利用深度學習網路把一次就診記錄壓縮成一個特徵的向量，接著我們利用回歸模型，把病人多次就診記錄綜合起來預測未來6個月之內這個病人得腦卒中的風險。

楊強：

我們在審視各個演算法和它對應的可解釋性的關聯問題上，發現一個有趣的現象，比方說在機器學習裡面，深度學習就是屬於效率非常高的，但是它卻對應的可解釋性很差。同樣，線性模型沒有那麼高，但是它的可解釋性相對強一些，樹狀模型也是，因果模型更是這樣。所以往往我們確實得做一個取捨，就是我們在可解釋這個維度和高效率這個維度，在這個空間裡面選擇哪一個點，現在並沒有在兩個維度都高的這樣一個演算法。

可解釋AI的行業實踐

鄭冶楓：

各行業對可解釋性和透明性的要求不同，我結合醫療AI這個場景給大家分享一下我的體會和理解。大家知道醫療在全世界范圍內都是被強監管的領域，一款醫療產品要上市必須拿到醫療器械注冊證，輔助診斷演算法AI產品屬於三類醫療醫療，也就是監管最嚴格的級別，所以我們要披露的信息很多，大致包括數據集和臨床演算法驗證兩方面。前者主要強調數據集的公平多樣性和廣泛覆蓋性，後者則重視披露我們的演算法真正在臨床試驗中、真正臨床應用的時候它的性能。

此外，我們的測試樣本也需要有很好的多樣性，覆蓋不同醫院，不同區域，不同病人群體、廠商、掃描參數等等。臨床實驗更加嚴格，首先我們要固化演算法的代碼，在臨床試驗期間是不能改代碼的，因為你不能一邊做實驗一邊改代碼，這就失去了臨床試驗的意義。

所以醫療AI的監管是非常強的，葯監局需要我們披露很多信息，提高醫療AI產品的透明性，它有非常嚴格甚至苛刻的書面要求。因為我們知道智能學習網路天然不具有很好的解釋性，雖然你可以做一些中間增強，可以一定程度上改善這些事情，監管也可以理解這個解釋性差一點，正因為解釋性差，要求的透明性就越高。

何鳳翔：

我覺得提供AI系統的說明書有兩個路徑：第一個路徑從生成AI系統的過程出發。這一點現在有一些實踐，比如開源代碼，說明使用了什麼數據，數據是如何使用的、如何預處理的。這會提升人們對AI的信任和理解，這也像剛才鄭老師提到，申請醫療相關的資質的時候，我們需要把生產細節匯報給相關機構。

第二種方式就是從生成的AI系統所做出的預測以及決策的指標來入手做演算法的說明書。比方對AI系統做一些測評。對於剛才我們提到的指標，包括可解釋性、魯棒性、准確性、隱私保護、公平性，找到一些比較好的量化指標、找到一些評測演算法，把這些指標作為AI系統的使用說明書。

可解釋AI的未來發展

楊強：我期待在未來人工智慧的治理，在人工智慧，人和機器這種和諧共存，共同解決我們要解決問題的前提下，會越來越成熟。我是非常看好這個領域的。

朱菁：我期待這個領域進一步的探討，不同領域的學者都能夠參與進來。比如說像我自己做的主要是哲學， 科技 哲學。在 科技 哲學，實際上對於解釋有將近一百年的積累和 探索 ，這裡面應該有很多可以發掘借鑒的資源，參與到目前這樣一個很有意思很有挑戰性的話題裡面。

何鳳翔：AI本身是一個跨學科領域，它可能會用到很多數學、統計、物理、計算機等各個知識的領域，今天提到的很多點，包括隱私保護、公平性，很多也是來源於人文學科、法律、 社會 學這些方面。所以這就意味著研究可信AI以及可解釋性等等方面會需要各個學科領域的人合作起來一起去做的一件事情，會非常需要大家的通力合作，共同推進這個領域的發展。

姚新：對於做研究來說，我希望將來可以有一點聚焦的討論。我剛才講的3W，到底我們要解決透明性、可解釋性的哪一部分，對誰而言。假如對醫療而言，是對法規的制定者來說還是對醫生來說，還是對病人來說，還是對這個系統的開發者來說？我覺得在這裡面有非常多可以發揮自己的想像力和能力的地方。

鄭冶楓：對演算法人員來說，當然我們希望將來科學家們找到非常好的，具有良好可解釋性，同時准確性非常高的演算法，真正做到魚和熊掌兼得。