XAI是否靠譜？美國DARPA「可解釋人工智能」（XAI計(jì)劃）的4年回顧與經(jīng)驗(yàn)總結(jié)，附中文版 - 知乎切換模式寫文章登錄/注冊(cè)XAI是否靠譜？美國DARPA「可解釋人工智能」（XAI計(jì)劃）的4年回顧與經(jīng)驗(yàn)總結(jié)，附中文版專知 www.zhuanzhi.ai 專業(yè)可信的AI知識(shí)分發(fā)服務(wù)導(dǎo)語：可解釋人工智能的概念最早來自于美國DARPA（美國防部高級(jí)研究計(jì)劃局），2017年，為期4年的XAI研究計(jì)劃啟動(dòng)?，F(xiàn)在，隨著 XAI 在 2021 年結(jié)束，本文總結(jié)和反思了 XAI 項(xiàng)目的目標(biāo)、組織和研究進(jìn)展。完整中英文版請(qǐng)上專知網(wǎng)站(www.zhuanzhi.ai)查看！作者：David Gunning, Eric Vorm, Jennifer Yunyan Wang, Matt Turek摘要DARPA 于 2015 年制定了可解釋人工智能 (XAI) 計(jì)劃，旨在使最終用戶能夠更好地理解、信任和有效管理人工智能系統(tǒng)。2017年，為期四年的XAI研究計(jì)劃開始?，F(xiàn)在，隨著 XAI 在 2021 年結(jié)束，是時(shí)候反思什么成功了，什么失敗了，以及學(xué)到了什么。本文總結(jié)了 XAI計(jì)劃的目標(biāo)、組織和研究進(jìn)展。1 XAI計(jì)劃創(chuàng)建背景機(jī)器學(xué)習(xí)的巨大成功創(chuàng)造了新的人工智能 (AI) 能力的爆炸式增長。持續(xù)的進(jìn)步有望產(chǎn)生能夠自行感知、學(xué)習(xí)、決策和行動(dòng)的自主系統(tǒng)。這些系統(tǒng)提供了巨大的好處，但它們的有效性將受到機(jī)器無法向人類用戶解釋其決策和行動(dòng)的限制。這個(gè)問題對(duì)美國國防部 (DoD) 尤其重要，它面臨著需要開發(fā)更智能、自主和可靠系統(tǒng)的挑戰(zhàn)。可解釋的人工智能對(duì)于用戶理解、適當(dāng)信任和有效管理新一代人工智能合作伙伴至關(guān)重要?？山忉屝詥栴}在某種程度上是人工智能成功的結(jié)果。在人工智能的早期，主要的推理方法是邏輯和符號(hào)。這些早期系統(tǒng)通過對(duì)（某種程度上）人類可讀符號(hào)執(zhí)行某種形式的邏輯形式來進(jìn)行推理。早期系統(tǒng)可以生成其推理步驟的痕跡，然后可以成為解釋的基礎(chǔ)。因此，在如何使這些系統(tǒng)可解釋方面進(jìn)行了大量工作（Shortliffe & Buchanan, 1975; Swartout, Paris, & Moore, 1991; Johnson, 1994; Lacave & D′?ez, 2002; Van Lent, Fisher, & Mancuso , 2004)。然而，這些早期的人工智能系統(tǒng)是無效的；事實(shí)證明，它們的建造成本太高，而且對(duì)于現(xiàn)實(shí)世界的復(fù)雜性來說太脆弱了。AI 的成功伴隨著研究人員開發(fā)了新的機(jī)器學(xué)習(xí)技術(shù)，這些技術(shù)可以使用他們自己的內(nèi)部表示（例如，支持向量、隨機(jī)森林、概率模型和神經(jīng)網(wǎng)絡(luò)）來構(gòu)建世界模型。這些新模型更有效，但必然更不透明且難以解釋。2015 年是 XAI 需求的轉(zhuǎn)折點(diǎn)。數(shù)據(jù)分析和機(jī)器學(xué)習(xí)剛剛經(jīng)歷了十年的快速發(fā)展（Jordan & Mitchell，2015）。在 2012 年突破性的 ImageNet 演示之后，深度學(xué)習(xí)革命才剛剛開始（Krizhevsky、Sutskever 和 Hinton，2012 年）。大眾媒體對(duì)超級(jí)智能 (Bostrom, 2014) 和即將到來的 AI 啟示錄（Apocalypse） (Gibbs, 2017, Cellan-Jones, 2014, Marr, 2018) 充滿活力猜測(cè)。每個(gè)人都想知道如何理解、信任和管理這些神秘的、看似高深莫測(cè)的人工智能系統(tǒng)。2015 年還出現(xiàn)了提供可解釋性的初步想法。一些研究人員正在探索深度學(xué)習(xí)技術(shù)，例如使用反卷積網(wǎng)絡(luò)來可視化卷積網(wǎng)絡(luò)的層級(jí)（Zeiler & Fergus，2014）。其他研究人員正在尋求學(xué)習(xí)更多可解釋模型的技術(shù)，例如貝葉斯規(guī)則列表 (Letham, Rudin, McCormick, & Madigan, 2015)。其他人正在開發(fā)與模型無關(guān)的技術(shù)，可以用機(jī)器學(xué)習(xí)模型（作為黑盒）進(jìn)行試驗(yàn)，以推斷出近似的、可解釋的模型，例如 LIME（Ribeiro、Singh 和 Guestrin，2016 年）。還有一些人評(píng)估可解釋交互的心理和人機(jī)交互因素（Kulesza、Burnett、Wong 和 Stumpf，2015 年）。DARPA 花了一年時(shí)間調(diào)查研究人員，分析可能的研究策略，并制定計(jì)劃的目標(biāo)和結(jié)構(gòu)。2016 年 8 月，DARPA 發(fā)布 DARPA-BAA-16-53 征集提案。2 XAI計(jì)劃目標(biāo)可解釋人工智能 (XAI) 的既定目標(biāo)是創(chuàng)建一套新的或改進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，以產(chǎn)生可解釋的模型，當(dāng)與有效的解釋技術(shù)相結(jié)合時(shí)，使最終用戶能夠理解、適當(dāng)?shù)匦湃魏陀行У毓芾硇乱淮斯ぶ悄芟到y(tǒng)。XAI 的目標(biāo)是最終用戶，他們依賴于 AI 系統(tǒng)產(chǎn)生的決策或建議，或者它采取的行動(dòng)，因此需要了解系統(tǒng)的基本原理。例如，從大數(shù)據(jù)分析系統(tǒng)接收建議的情報(bào)分析師需要了解它為什么建議某些活動(dòng)，需要進(jìn)行進(jìn)一步調(diào)查。同樣，執(zhí)行自主系統(tǒng)任務(wù)的操作員需要了解系統(tǒng)的決策模型，以便在未來的任務(wù)中適當(dāng)?shù)厥褂盟?。XAI 的概念是為用戶提供解釋，使他們能夠了解系統(tǒng)的整體優(yōu)勢(shì)和劣勢(shì)；傳達(dá)對(duì)其在未來/不同情況下的表現(xiàn)的理解；并且可能允許用戶糾正系統(tǒng)的錯(cuò)誤。XAI 計(jì)劃假設(shè)機(jī)器學(xué)習(xí)性能（例如，預(yù)測(cè)準(zhǔn)確性）和可解釋性之間存在固有矛盾關(guān)系，這一問題與當(dāng)時(shí)的研究結(jié)果一致。通常性能最高的方法（例如深度學(xué)習(xí)）是最難解釋的，而最可解釋的（例如決策樹）是最不準(zhǔn)確的。該計(jì)劃希望創(chuàng)建一系列新的機(jī)器學(xué)習(xí)和解釋技術(shù)，為未來的從業(yè)者提供更廣泛的設(shè)計(jì)選項(xiàng)，涵蓋性能-可解釋性交易空間。如果應(yīng)用程序需要更高的性能，XAI 產(chǎn)品組合將包括更可解釋、高性能的深度學(xué)習(xí)技術(shù)。如果應(yīng)用系統(tǒng)需要更多的可解釋性，XAI 將包括性能更高、可解釋的模型。3 XAI計(jì)劃結(jié)構(gòu)體系該計(jì)劃分為三個(gè)主要技術(shù)領(lǐng)域（technical areas，TAs），如圖 1 所示：（1）開發(fā)新的 XAI 機(jī)器學(xué)習(xí)和可解釋技術(shù)以產(chǎn)生有效的解釋性；（2）通過總結(jié)、延伸和應(yīng)用可解釋心理學(xué)理論，來理解可解釋心理；(3) 在兩個(gè)挑戰(zhàn)問題領(lǐng)域評(píng)估新的 XAI 技術(shù)：數(shù)據(jù)分析和自主性。 圖1：DARPA的XAI計(jì)劃結(jié)構(gòu)，包括技術(shù)領(lǐng)域(TAs)和評(píng)估框架最初的計(jì)劃時(shí)間表包括兩個(gè)階段：第一階段，技術(shù)演示（18 個(gè)月）；第 2 階段，比較評(píng)估（30 個(gè)月）。在第一階段，開發(fā)人員被要求針對(duì)他們自己的測(cè)試問題展示他們的技術(shù)。在第 2 階段，最初的計(jì)劃是讓開發(fā)人員針對(duì)政府評(píng)估人員定義的兩個(gè)常見問題之一（圖 2）測(cè)試他們的技術(shù)。在第 2 階段結(jié)束時(shí)，預(yù)計(jì)開發(fā)人員將向開源 XAI 工具包貢獻(xiàn)原型軟件。 圖2:面臨的挑戰(zhàn)問題4 XAI計(jì)劃開發(fā)2017年5月，XAI計(jì)劃開始啟動(dòng)。選擇了 11 個(gè)研究團(tuán)隊(duì)來開發(fā)可解釋學(xué)習(xí)器 (TA1)，并選擇了一個(gè)團(tuán)隊(duì)來開發(fā)可解釋的心理模型。評(píng)估由美國海軍研究實(shí)驗(yàn)室提供。以下總結(jié)了這些進(jìn)展以及該計(jì)劃結(jié)束時(shí)這項(xiàng)工作的最終狀態(tài)。Gunning 和 Aha，2019 年給出了 2018 年底 XAI 發(fā)展的中期總結(jié)。4.1 XAI可解釋的學(xué)習(xí)方法（XAI Explainable Learner Approaches）該計(jì)劃預(yù)計(jì)研究人員將調(diào)查訓(xùn)練過程、模型表示，以及重要的解釋交互。為模型表示設(shè)想了三種通用方法。可解釋的模型方法將尋求開發(fā)對(duì)機(jī)器學(xué)習(xí)專家來說本質(zhì)上更易于解釋和更內(nèi)省的 ML 模型。深度解釋方法將利用深度學(xué)習(xí)或混合深度學(xué)習(xí)方法來產(chǎn)生除預(yù)測(cè)之外的解釋。最后，模型歸納技術(shù)將從更不透明的黑盒模型創(chuàng)建近似可解釋的模型。解釋交互被認(rèn)為是 XAI 的一個(gè)關(guān)鍵元素，將用戶連接到模型，使他們能夠理解決策過程并與之交互。隨著研究的進(jìn)展，11 個(gè) XAI 團(tuán)隊(duì)探索了許多機(jī)器學(xué)習(xí)方法，例如易處理的概率模型 (Roy et al. 2021) 和因果模型 (Druce et al. 2021) 以及強(qiáng)化學(xué)習(xí)算法生成的狀態(tài)機(jī)等解釋技術(shù)(Koul et al. 2019, Danesh et al. 2021), 貝葉斯教學(xué) (Yang et al. 2021), 視覺顯著圖 (Petsiuk 2021, Li et al. 2021, Ray et al. 2021, Alipour et al. 2021, Vasu et al. 2021)，以及網(wǎng)絡(luò)和 GAN 解剖 (Ferguson et al. 2021)。也許最具挑戰(zhàn)性和最獨(dú)特的貢獻(xiàn)來自機(jī)器學(xué)習(xí)和解釋技術(shù)的結(jié)合，以進(jìn)行精心設(shè)計(jì)的心理實(shí)驗(yàn)來評(píng)估解釋的有效性。隨著計(jì)劃的推進(jìn)，我們也對(duì)用戶范圍和開發(fā)時(shí)間線有了更深入的了解（圖 3）。 圖3: XAI用戶和開發(fā)時(shí)間表4.2 解釋的心理學(xué)模型（Psychological Models of Explanation）該計(jì)劃需要對(duì)解釋有扎實(shí)的心理學(xué)理論支持。選擇了一個(gè)團(tuán)隊(duì)來總結(jié)當(dāng)前的解釋的心理學(xué)理論，以協(xié)助 XAI 開發(fā)人員和評(píng)估團(tuán)隊(duì)。這項(xiàng)工作始于對(duì)解釋心理學(xué)的廣泛文獻(xiàn)調(diào)查以及之前關(guān)于 AI 可解釋性的工作（IHMC 文獻(xiàn)調(diào)查的參考資料）。最初，該團(tuán)隊(duì)被要求（1）對(duì)當(dāng)前的解釋理論進(jìn)行總結(jié)，（2）根據(jù)這些理論開發(fā)一個(gè)解釋的計(jì)算模型；(3) 根據(jù) XAI 開發(fā)人員的評(píng)估結(jié)果驗(yàn)證計(jì)算模型。開發(fā)計(jì)算模型被證明是一座太極端的橋梁，但該團(tuán)隊(duì)確實(shí)對(duì)該領(lǐng)域有深入的了解并成功地制作了描述性模型。這些描述性模型對(duì)于支持有效的評(píng)估方法至關(guān)重要，這些評(píng)估方法涉及精心設(shè)計(jì)的用戶研究，按照美國防部人體研究指南進(jìn)行。圖4說明了 XAI 解釋過程的頂級(jí)描述模型。 圖 4：解釋心理模型。黃色框說明了基本過程。綠色方框說明了測(cè)試標(biāo)準(zhǔn)。白框說明了潛在的結(jié)果。4.3 評(píng)估最初設(shè)想評(píng)估基于數(shù)據(jù)分析和自主性領(lǐng)域內(nèi)的一組常見問題。然而，很快就很清楚，在廣泛的問題領(lǐng)域中探索各種方法會(huì)更有價(jià)值。為了評(píng)估該計(jì)劃最后一年的表現(xiàn)，由美國海軍研究實(shí)驗(yàn)室 (NRL) 領(lǐng)導(dǎo)的評(píng)估小組開發(fā)了一個(gè)解釋評(píng)分系統(tǒng) (ESS)?；谝唤M領(lǐng)域?qū)＜业慕ㄗh并使用內(nèi)容有效性比 (CVR) 進(jìn)行驗(yàn)證，ESS 提供了一種用于評(píng)估 XAI 用戶研究設(shè)計(jì)的定量機(jī)制。ESS 評(píng)估用戶研究的多個(gè)要素，包括任務(wù)、領(lǐng)域、解釋、解釋交互、用戶、假設(shè)、數(shù)據(jù)收集和分析。XAI 評(píng)價(jià)指標(biāo)如圖 5所示，包括功能性指標(biāo)、學(xué)習(xí)績效指標(biāo)和解釋有效性指標(biāo)。仔細(xì)設(shè)計(jì)用戶研究以準(zhǔn)確評(píng)估解釋的有效性至關(guān)重要。通常，評(píng)估 XAI 算法的性能需要多種類型的度量（參見性能、功能、解釋有效性）。XAI 用戶研究設(shè)計(jì)可能很棘手，通常在該計(jì)劃中最有效的團(tuán)隊(duì)擁有具有豐富心理學(xué)專業(yè)知識(shí)的人員。 圖5:XAI算法的評(píng)估措施5 XAI計(jì)劃開發(fā)方法XAI計(jì)劃探討了許多方法，如表1所示。表1: DARPA XAI計(jì)劃的技術(shù)方法6 XAI結(jié)果與經(jīng)驗(yàn)教訓(xùn)在該計(jì)劃期間進(jìn)行了三項(xiàng)主要評(píng)估：一項(xiàng)在第 1 階段，兩項(xiàng)在第 2 階段。為了評(píng)估 XAI 技術(shù)的有效性，該計(jì)劃的研究人員設(shè)計(jì)并執(zhí)行了用戶研究。用戶研究仍然是評(píng)估解釋的黃金標(biāo)準(zhǔn)。在 XAI 研究人員進(jìn)行的用戶研究中，大約有 12,700 名參與者，其中包括大約 1900 名受監(jiān)督的參與者，其中個(gè)人由研究團(tuán)隊(duì)指導(dǎo)（例如親自或在 Zoom 上）和 10800 名無監(jiān)督的參與者，其中個(gè)人自我通過實(shí)驗(yàn)進(jìn)行指導(dǎo)，并且沒有受到研究團(tuán)隊(duì)（例如 Amazon Mechanical Turk）的積極指導(dǎo)。根據(jù)美國國防部 (DoD) 資助的所有人類受試者研究的政策，每個(gè)研究方案都由當(dāng)?shù)貦C(jī)構(gòu)審查委員會(huì) (IRB) 審查，然后國防部人類研究保護(hù)辦公室審查方案和當(dāng)?shù)?IRB 調(diào)查結(jié)果。在這些用戶研究過程中，確定了幾個(gè)關(guān)鍵要：如前所述，學(xué)習(xí)表現(xiàn)和可解釋性之間似乎存在一種自然的矛盾關(guān)系。然而，在整個(gè)計(jì)劃過程中，我們發(fā)現(xiàn)了可解釋性可以提高性能（Kim et al. 2021, Watkins et al. 2021）。從直觀的角度來看，訓(xùn)練系統(tǒng)以產(chǎn)生解釋，通過額外的損失函數(shù)、訓(xùn)練數(shù)據(jù)或其他機(jī)制來提供額外的監(jiān)督，以鼓勵(lì)系統(tǒng)學(xué)習(xí)更有效的世界表征。雖然這可能并非在所有情況下都是正確的，并且在可解釋的技術(shù)何時(shí)將具有更高性能時(shí)仍有大量工作要做，但它提供了希望，未來的 XAI 系統(tǒng)可以在滿足用戶解釋需求的同時(shí)比當(dāng)前系統(tǒng)具有更高的性能。7 2021 年 DARPA 計(jì)劃之后的世界狀況、AI和 XAIXAI 目前沒有通用的解決方案。如前所述，不同的用戶類型需要不同類型的解釋。這與我們與其他人互動(dòng)時(shí)所面臨的沒有什么不同。例如，考慮一名醫(yī)生需要向其他醫(yī)生、患者或醫(yī)學(xué)審查委員會(huì)解釋診斷。或許未來的 XAI 系統(tǒng)將能夠自動(dòng)校準(zhǔn)并向大量用戶類型中的特定用戶傳達(dá)解釋，但這仍然遠(yuǎn)遠(yuǎn)超出了當(dāng)前的技術(shù)水平。與 2015 年相比，今天我們對(duì) AI 的理解更加細(xì)致入微、不那么戲劇化，或許也更加準(zhǔn)確。我們當(dāng)然對(duì)深度學(xué)習(xí)的可能性和局限性有了更準(zhǔn)確的理解。人工智能的末日已經(jīng)從迫在眉睫的危險(xiǎn)變成了遙遠(yuǎn)的好奇。同樣，XAI 計(jì)劃對(duì) XAI 產(chǎn)生了更細(xì)致入微、不那么戲劇化、或許更準(zhǔn)確的理解。該計(jì)劃無疑起到了促進(jìn) XAI 研究（包括計(jì)劃內(nèi)部和外部）的作用。結(jié)果對(duì) XAI 的使用和用戶、XAI 的心理、衡量解釋有效性的挑戰(zhàn)以及產(chǎn)生新的 XAI ML 和 HCI 技術(shù)組合有了更細(xì)致的理解。當(dāng)然還有更多工作要做，特別是隨著新的人工智能技術(shù)的開發(fā)，這些技術(shù)將繼續(xù)需要解釋。XAI 將在一段時(shí)間內(nèi)繼續(xù)作為一個(gè)活躍的研究領(lǐng)域。作者認(rèn)為，XAI 計(jì)劃通過為開展這項(xiàng)工作奠定了基礎(chǔ)，做出了重大貢獻(xiàn)。附: “可解釋人工智能”（XAI）項(xiàng)目背景資料機(jī)器學(xué)習(xí)的巨大成功產(chǎn)生了大量人工智能（AI）應(yīng)用項(xiàng)目。照此發(fā)展，其持續(xù)的進(jìn)步有望產(chǎn)生能夠自我感知、學(xué)習(xí)、決策和行動(dòng)的自主系統(tǒng)。然而，這些系統(tǒng)的有效性受到機(jī)器當(dāng)前無法向人類用戶解釋其決策和行動(dòng)的限制（如下圖）。美國國防部（DoD）面臨著需要更智能、自主和共生系統(tǒng)的挑戰(zhàn)。如果未來的戰(zhàn)士能夠理解，適當(dāng)?shù)匦湃尾⒂行У毓芾硇乱淮斯ぶ悄軝C(jī)器協(xié)作伙伴，那么可解釋人工智能，特別是可解釋的機(jī)器學(xué)習(xí)，將是必不可少的。XAI項(xiàng)目需求“可解釋人工智能”（XAI）項(xiàng)目旨在創(chuàng)建一套機(jī)器學(xué)習(xí)技術(shù)：產(chǎn)生更多可解釋的模型，同時(shí)保持高水平的學(xué)習(xí)成績（預(yù)測(cè)準(zhǔn)確性）；使人類用戶能夠理解，適當(dāng)?shù)匦湃尾⒂行У毓芾硇乱淮斯ぶ悄芎献骰锇椤AI項(xiàng)目強(qiáng)調(diào)區(qū)域新的機(jī)器學(xué)習(xí)系統(tǒng)將能夠解釋它們的基本原理，表征它們的優(yōu)點(diǎn)和缺點(diǎn)，并傳達(dá)對(duì)它們將來如何表現(xiàn)的理解。實(shí)現(xiàn)該目標(biāo)的策略是開發(fā)新的或改進(jìn)機(jī)器學(xué)習(xí)技術(shù)，以產(chǎn)生更多可解釋的模型。這些模型將結(jié)合最先進(jìn)的人機(jī)界面技術(shù)，能夠?qū)⒛Ｐ娃D(zhuǎn)化為最終用戶可理解和有用的解釋對(duì)話（如下圖）。DARPA研究團(tuán)隊(duì)的策略是采用各種技術(shù)，以生成一系列方法，為未來的開發(fā)人員提供一系列涵蓋性能與可解釋性交易空間的設(shè)計(jì)方案。XAI項(xiàng)目概念XAI項(xiàng)目是當(dāng)前DARPA正在推行的AI項(xiàng)目之一，旨在實(shí)現(xiàn)“第三波AI系統(tǒng)”，其中機(jī)器了解其運(yùn)行的環(huán)境和環(huán)境，并隨著時(shí)間的推移構(gòu)建底層解釋模型，使其能夠表征現(xiàn)實(shí)世界現(xiàn)象。XAI項(xiàng)目通過解決兩個(gè)技術(shù)領(lǐng)域的挑戰(zhàn)問題，專注于多系統(tǒng)的開發(fā)：（1）機(jī)器學(xué)習(xí)問題，用于對(duì)異構(gòu)、多媒體數(shù)據(jù)中感興趣的事件進(jìn)行分類；（2）機(jī)器學(xué)習(xí)問題，為自主系統(tǒng)構(gòu)建決策策略，以執(zhí)行各種模擬任務(wù)。XAI項(xiàng)目挑戰(zhàn)問題領(lǐng)域這兩個(gè)挑戰(zhàn)問題領(lǐng)域被選擇來代表兩個(gè)重要的機(jī)器學(xué)習(xí)方法（分類和強(qiáng)化學(xué)習(xí)）和兩個(gè)重要的國防部操作問題領(lǐng)域（情報(bào)分析和自主系統(tǒng)）的交叉點(diǎn)。XAI項(xiàng)目結(jié)構(gòu)此外，研究人員正在研究解釋心理學(xué)。XAI研究原型在整個(gè)項(xiàng)目過程中經(jīng)過測(cè)試和持續(xù)評(píng)估。在2018年5月，XAI研究人員展示了他們可解釋學(xué)習(xí)系統(tǒng)的初步實(shí)施，并展示了他們的第一階段評(píng)估的初步試點(diǎn)研究結(jié)果。隨后在2018年11月進(jìn)行全階段1系統(tǒng)評(píng)估。機(jī)器學(xué)習(xí)的巨大成功導(dǎo)致了AI應(yīng)用的新浪潮(例如，交通、安全、醫(yī)療、金融、國防)，這些應(yīng)用提供了巨大的好處，但無法向人類用戶解釋它們的決定和行動(dòng)。DARPA的可解釋人工智能(XAI)項(xiàng)目致力于創(chuàng)建人工智能系統(tǒng)，其學(xué)習(xí)的模型和決策可以被最終用戶理解并適當(dāng)信任。實(shí)現(xiàn)這一目標(biāo)需要學(xué)習(xí)更多可解釋的模型、設(shè)計(jì)有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發(fā)團(tuán)隊(duì)正在通過創(chuàng)建ML技術(shù)和開發(fā)原理、策略和人機(jī)交互技術(shù)來解決前兩個(gè)挑戰(zhàn)，以生成有效的解釋。XAI的另一個(gè)團(tuán)隊(duì)正在通過總結(jié)、擴(kuò)展和應(yīng)用心理解釋理論來解決第三個(gè)挑戰(zhàn)，以幫助XAI評(píng)估人員定義一個(gè)合適的評(píng)估框架，開發(fā)團(tuán)隊(duì)將使用這個(gè)框架來測(cè)試他們的系統(tǒng)。XAI團(tuán)隊(duì)于2018年5月完成了第一個(gè)為期4年的項(xiàng)目。在一系列正在進(jìn)行的評(píng)估中，開發(fā)人員團(tuán)隊(duì)正在評(píng)估他們的XAM系統(tǒng)的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務(wù)性能。編輯于 2022-07-04 09:10人工智能人工智能算法?贊同 15??2 條評(píng)論?分享?喜歡?收藏?申請(qǐng)
XAI：理解與解釋的AI技術(shù) - 知乎切換模式寫文章登錄/注冊(cè)XAI：理解與解釋的AI技術(shù)呆馬區(qū)塊鏈科技一、背景與概述隨著機(jī)器學(xué)習(xí)與人工智能的廣泛應(yīng)用，人們對(duì)于如何理解和應(yīng)用這些機(jī)器學(xué)習(xí)模型的需求日益增長。在這樣的背景下，解釋性AI（XAI）作為一種能夠提供解釋和理解的AI技術(shù)應(yīng)運(yùn)而生。XAI的目標(biāo)是幫助人們更好地理解和應(yīng)用機(jī)器學(xué)習(xí)模型，從而提高決策的準(zhǔn)確性和效率。通過XAI，我們可以獲得有關(guān)模型假設(shè)、預(yù)測(cè)和輸出的詳細(xì)信息。這些信息有助于我們理解模型在特定數(shù)據(jù)下的響應(yīng)方式，從而提高預(yù)測(cè)的準(zhǔn)確性和可靠性。在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)項(xiàng)目中，XAI已經(jīng)成為一個(gè)重要的工具，幫助團(tuán)隊(duì)做出更明智的決策。1.醫(yī)療領(lǐng)域：在醫(yī)療領(lǐng)域，XAI可以用于解釋醫(yī)療診斷和機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果。醫(yī)生可以更好地理解診斷的依據(jù)和預(yù)測(cè)的準(zhǔn)確性，從而為患者提供更準(zhǔn)確的診斷和治療方案。此外，XAI還可以幫助醫(yī)生識(shí)別出模型可能存在的偏差和問題，進(jìn)一步提高醫(yī)療質(zhì)量。2. 金融領(lǐng)域：在投資決策中，XAI可以幫助投資者更好地理解投資決策的依據(jù)和風(fēng)險(xiǎn)。通過XAI，投資者可以獲得關(guān)于機(jī)器學(xué)習(xí)模型預(yù)測(cè)的詳細(xì)信息，從而做出更明智的投資決策。3. 法律領(lǐng)域：在法律領(lǐng)域，XAI可以用于解釋法律判決和機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果。通過XAI，律師可以更好地理解判決的依據(jù)和預(yù)測(cè)的準(zhǔn)確性，從而為當(dāng)事人提供更準(zhǔn)確的法律建議。結(jié)論：XAI的重要性與前景總的來說，解釋性AI（XAI）是一種具有廣泛應(yīng)用前景的技術(shù)。它不僅可以幫助人們更好地理解和應(yīng)用機(jī)器學(xué)習(xí)模型，而且還可以提高決策的準(zhǔn)確性和效率。在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)項(xiàng)目、醫(yī)療、金融和法律等領(lǐng)域，XAI都有著廣泛的應(yīng)用前景。發(fā)布于 2024-01-27 14:56?IP 屬地山東Adobe Illustrator?贊同??添加評(píng)論?分享?喜歡?收藏?申請(qǐng)
什么是可解釋 AI？| IBM
什么是可解釋 AI？
訂閱 IBM 時(shí)事通訊
可解釋人工智能 (XAI) 是一組流程和方法，讓人類用戶可以理解并信任機(jī)器學(xué)習(xí)算法創(chuàng)建的結(jié)果和輸出。
可解釋 AI 用于說明 AI 模型、其預(yù)期影響和潛在偏見。它可幫助描述模型的準(zhǔn)確性、公平性、透明度以及人工智能驅(qū)動(dòng)型決策的結(jié)果?？山忉?AI 至關(guān)重要，可在組織將 AI 模型投入生產(chǎn)時(shí)幫助組織建立信任和信心。AI 可解釋性還有助于組織采用負(fù)責(zé)任的 AI 開發(fā)方法。
AI 的先進(jìn)程度越來越高，人類已經(jīng)很難去理解和追溯算法是如何得出結(jié)果的。整個(gè)計(jì)算過程變成了通常所說的無法解釋的“黑匣”。這些黑匣模型是直接從數(shù)據(jù)創(chuàng)建的。而且，即使是創(chuàng)建算法的工程師或數(shù)據(jù)科學(xué)家也無法理解或解釋這些算法內(nèi)部到底發(fā)生了什么，或者 AI 算法是如何得出特定結(jié)果的。
了解啟用 AI 的系統(tǒng)如何產(chǎn)生特定輸出會(huì)帶來諸多好處?？山忉屝钥蓭椭_發(fā)人員確保系統(tǒng)按預(yù)期運(yùn)行，滿足監(jiān)管標(biāo)準(zhǔn)可能也需要可解釋性，或者如果要允許受決策影響的人質(zhì)疑或更改結(jié)果，那么可解釋性也十分重要。1
如何大規(guī)模構(gòu)建負(fù)責(zé)任的人工智能
探索指南
為什么可解釋 AI 很重要
對(duì)于一家組織來說，充分了解 AI 決策過程并實(shí)現(xiàn) AI 的模型監(jiān)控和問責(zé)制，而不是盲目信任 AI，這一點(diǎn)至關(guān)重要?？山忉?AI 可以幫助人類理解和解釋機(jī)器學(xué)習(xí) (ML) 算法、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。
ML 模型通常被認(rèn)為是無法解釋的黑匣。2深度學(xué)習(xí)中使用的神經(jīng)網(wǎng)絡(luò)是人類最難理解的神經(jīng)網(wǎng)絡(luò)之一。偏見（通常是基于種族的偏見）、性別、年齡或地點(diǎn)，這些一直是訓(xùn)練 AI 模型的過程中長期面臨的風(fēng)險(xiǎn)。此外，因?yàn)樯a(chǎn)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)不同，AI 模型性能可能會(huì)出現(xiàn)漂移或降級(jí)。因此，企業(yè)需要持續(xù)監(jiān)控和管理模型以提升 AI 可解釋性，同時(shí)衡量使用此類算法所造成的業(yè)務(wù)影響，這一點(diǎn)至關(guān)重要?？山忉?AI 還有助于提高最終用戶的信任度和模型的可審計(jì)性，并促進(jìn) AI 的有效使用。它還緩解了生產(chǎn) AI 帶來的合規(guī)性、法律、安全和聲譽(yù)風(fēng)險(xiǎn)。
可解釋 AI 是實(shí)施負(fù)責(zé)任 AI 的關(guān)鍵要求之一，借助可解釋 AI，現(xiàn)實(shí)中的各個(gè)組織可以大規(guī)模實(shí)施 AI 方法，并實(shí)現(xiàn)公平性、模型可解釋性和問責(zé)制。3為了以負(fù)責(zé)任的方式采用 AI，組織需要基于信任和透明度構(gòu)建 AI 系統(tǒng)，以將倫理原則嵌入到 AI 應(yīng)用程序和流程中。
了解關(guān)于 AI 倫理的更多信息
可解釋 AI 的運(yùn)作方式
通過可解釋 AI 以及可解釋的機(jī)器學(xué)習(xí)，組織可以訪問 AI 技術(shù)的底層決策，并有權(quán)做出調(diào)整。可解釋 AI 可以讓最終用戶相信 AI 正在制定明智的決策，從而改善產(chǎn)品或服務(wù)的用戶體驗(yàn)。AI 系統(tǒng)何時(shí)會(huì)對(duì)決策有十足的把握，讓您可以信任決策，以及 AI 系統(tǒng)如何糾正出現(xiàn)的錯(cuò)誤？?
AI 的先進(jìn)程度越來越高，但仍然需要理解并管控 ML 流程，以確保 AI 模型結(jié)果的準(zhǔn)確性。我們來看看 AI 和 XAI 之間的區(qū)別，用于將 AI 轉(zhuǎn)換為 XAI 的方法和技術(shù)，以及闡釋和解釋 AI 過程之間的區(qū)別。
比較 AI 和 XAI
“常規(guī)”AI 和可解釋 AI 之間究竟有什么區(qū)別？XAI 采用了特定的技術(shù)和方法，以確?？梢愿櫤徒忉屧?ML 過程中所做出的每個(gè)決策。另一方面，AI 通常利用 ML 算法得出結(jié)果，但 AI 系統(tǒng)的架構(gòu)師并不完全了解算法是如何得出該結(jié)果的。這樣就很難檢查結(jié)果的準(zhǔn)確性，同時(shí)也會(huì)喪失可控性、問責(zé)制和可審計(jì)性。
可解釋 AI 技術(shù)
XAI 技術(shù)的設(shè)置要用到三種主要方法。預(yù)測(cè)準(zhǔn)確性和可跟蹤性可滿足技術(shù)方面的需求，而決策理解可滿足人類需求。如果未來的作戰(zhàn)人員要理解、適度信任并有效管理新一代人工智能機(jī)器合作伙伴，那么可解釋 AI，尤其是可解釋的機(jī)器學(xué)習(xí)，將至關(guān)重要。
預(yù)測(cè)準(zhǔn)確性
準(zhǔn)確性是在日常運(yùn)營中成功使用 AI 的關(guān)鍵因素。通過運(yùn)行模擬并將 XAI 輸出與訓(xùn)練數(shù)據(jù)集中的結(jié)果進(jìn)行比較，可以確定預(yù)測(cè)準(zhǔn)確性。在這方面，最主流的技術(shù)是模型無關(guān)的局部解釋 (LIME)，它解釋了 ML 算法對(duì)分類器的預(yù)測(cè)。
可跟蹤性
可跟蹤性是實(shí)現(xiàn) XAI 的另一關(guān)鍵技術(shù)。可通過多種方法實(shí)現(xiàn)可跟蹤性，比如通過限制決策的制定方式，以及為 ML 規(guī)則和功能設(shè)置更小的范圍。可跟蹤性 XAI 技術(shù)的一個(gè)例子是 DeepLIFT（深度學(xué)習(xí)重要特征），該算法將每個(gè)神經(jīng)元的激活與其參考神經(jīng)元進(jìn)行比較，并顯示每個(gè)已激活神經(jīng)元之間的可跟蹤鏈路，甚至顯示它們之間的依賴關(guān)系。
決策理解
這是人為因素。許多人對(duì) AI 并不信任，然而，要高效利用 AI，就需要學(xué)會(huì)信任 AI。通過教導(dǎo)團(tuán)隊(duì)使用 AI，可以建立對(duì) AI 的信任，這樣他們就能理解 AI 如何決策以及為何做出此等決策。
AI 中的可解釋性與可闡釋性
可闡釋性是觀察者對(duì)于決策原因的理解程度。這是人類對(duì) AI 輸出結(jié)果進(jìn)行預(yù)測(cè)的成功率，而可解釋性則更進(jìn)一步，著眼于 AI 如何得出結(jié)果。
可解釋 AI 與負(fù)責(zé)任 AI 有何關(guān)聯(lián)？
可解釋 AI 和負(fù)責(zé)任 AI 目標(biāo)相似，但采用的方法不同。以下是可解釋 AI 和負(fù)責(zé)任 AI 之間的主要區(qū)別：
可解釋 AI 是在計(jì)算出結(jié)果后審視 AI 結(jié)果。
負(fù)責(zé)任 AI 則是在規(guī)劃階段審視 AI，使 AI 算法在計(jì)算出結(jié)果之前始終以負(fù)責(zé)任的方式運(yùn)行。
可解釋 AI 和負(fù)責(zé)任 AI 可以協(xié)同工作，從而打造出更出色的 AI。
持續(xù)模型評(píng)估
借助可解釋 AI，企業(yè)可以排除故障，提高模型性能，同時(shí)幫助利益相關(guān)者了解 AI 模型的行為。通過跟蹤模型，對(duì)模型行為展開調(diào)查，深入了解模型部署狀態(tài)、公平性、質(zhì)量和漂移，這對(duì)于擴(kuò)展 AI 至關(guān)重要。
通過持續(xù)模型評(píng)估，企業(yè)能夠比較模型預(yù)測(cè)結(jié)果、量化模型風(fēng)險(xiǎn)并優(yōu)化模型性能。顯示模型行為中的正值和負(fù)值以及用于生成解釋的數(shù)據(jù)可加速模型評(píng)估。數(shù)據(jù)和 AI 平臺(tái)可以生成模型預(yù)測(cè)的特征歸因，并支持團(tuán)隊(duì)通過交互式圖表和可導(dǎo)出文檔直觀調(diào)查模型行為。
可解釋 AI 的優(yōu)勢(shì)
充滿信任、從容自信地有效運(yùn)行 AI
建立對(duì)生產(chǎn) AI 的信任?？焖賹?AI 模型投入生產(chǎn)。確保 AI 模型的可闡釋性和可解釋性。簡化模型評(píng)估流程，同時(shí)提高模型透明度和可跟蹤性。
加快獲得 AI 結(jié)果
系統(tǒng)化地監(jiān)控和管理模型以優(yōu)化業(yè)務(wù)成果。持續(xù)評(píng)估和改進(jìn)模型性能。通過持續(xù)評(píng)估對(duì)模型開發(fā)工作進(jìn)行調(diào)整。
降低模型治理的風(fēng)險(xiǎn)和成本
保持 AI 模型的可解釋性和透明度。管理監(jiān)管、合規(guī)、風(fēng)險(xiǎn)和其他要求。最大程度減少人工檢查的開銷和代價(jià)高昂的錯(cuò)誤。降低意外偏見造成的風(fēng)險(xiǎn)。
可解釋 AI 的五個(gè)注意事項(xiàng)
要通過可解釋 AI 達(dá)成理想結(jié)果，請(qǐng)考慮以下事項(xiàng)。
公平性和去偏：管理并監(jiān)督公平性。掃描部署以查找潛在偏見。
減少模型漂移：分析您的模型并根據(jù)最合乎邏輯的結(jié)果提出建議。當(dāng)模型偏離預(yù)期結(jié)果時(shí)發(fā)出警報(bào)。
模型風(fēng)險(xiǎn)管理：量化并降低模型風(fēng)險(xiǎn)。當(dāng)模型表現(xiàn)不佳時(shí)收到警報(bào)。了解偏差持續(xù)存在時(shí)會(huì)發(fā)生什么。
生命周期自動(dòng)化：將模型作為集成數(shù)據(jù)和 AI 服務(wù)的一部分進(jìn)行構(gòu)建、運(yùn)行和管理。統(tǒng)一平臺(tái)上的工具和流程，以監(jiān)控模型并共享結(jié)果。解釋機(jī)器學(xué)習(xí)模型的依賴關(guān)系。
多云就緒：跨混合云（包括公有云、私有云和本地部署）部署 AI 項(xiàng)目。利用可解釋 AI，增強(qiáng)信任感和自信心。
可解釋 AI 的用例
醫(yī)療：加速診斷、影像分析、資源優(yōu)化和醫(yī)療診斷。提高患者護(hù)理決策的透明度和可跟蹤性。通過可解釋 AI 簡化藥品審批流程。
金融服務(wù)：通過透明的貸款和信貸審批流程改善客戶體驗(yàn)。加快信貸風(fēng)險(xiǎn)、財(cái)富管理和金融犯罪風(fēng)險(xiǎn)評(píng)估。加快解決潛在投訴和問題。增強(qiáng)對(duì)定價(jià)、產(chǎn)品推薦和投資服務(wù)的信心。
刑事司法：優(yōu)化預(yù)測(cè)和風(fēng)險(xiǎn)評(píng)估流程。使用可解釋 AI 進(jìn)行 DNA 分析、監(jiān)獄人口分析和犯罪預(yù)測(cè)，加速解決問題。檢測(cè)訓(xùn)練數(shù)據(jù)和算法中的潛在偏見。
相關(guān)解決方案
IBM Cloud Pak? for Data
進(jìn)行現(xiàn)代化改造，實(shí)現(xiàn) AI 生命周期自動(dòng)化。幾乎可以在任何地方加強(qiáng)對(duì)數(shù)據(jù)和 AI 服務(wù)的治理和安全保護(hù)。
了解更多信息
IBM Watson? Studio
以信任和透明的方式構(gòu)建和擴(kuò)展 AI。通過持續(xù)監(jiān)控可解釋 AI 來構(gòu)建、運(yùn)行和管理 AI 模型。
了解更多信息
IBM Watson Knowledge Catalog
以活動(dòng)元數(shù)據(jù)和策略管理為支撐，利用端到端數(shù)據(jù)目錄來治理數(shù)據(jù)和 AI 模型。
了解更多信息
資源
指南
AI 治理的迫切性
閱讀有關(guān) AI 治理的三步法。深入了解如何構(gòu)建監(jiān)控倫理 AI 的治理系統(tǒng)。
閱讀指南
教程
準(zhǔn)備監(jiān)控模型
了解如何設(shè)置和啟用模型監(jiān)視器。使用信用風(fēng)險(xiǎn)示例模型選擇部署并設(shè)置有效內(nèi)容日志記錄的數(shù)據(jù)類型。
開始學(xué)習(xí)教程
分析人員報(bào)告
深入了解可解釋 AI 的價(jià)值
Forrester Consulting 研究了部署可解釋 AI 和模型監(jiān)控的企業(yè)預(yù)期的投資回報(bào)。
閱讀研究報(bào)告
成功案例
以信任和透明的方式擴(kuò)展 AI
漢莎航空通過 AI 生命周期自動(dòng)化以及漂移和偏見緩解來改善客戶體驗(yàn)，提升航空公司效率。
閱讀成功案例
采取后續(xù)步驟
IBM Cloud Pak for Data 平臺(tái)在統(tǒng)一環(huán)境中提供數(shù)據(jù)和 AI 服務(wù)，因此您的企業(yè)可以評(píng)估數(shù)據(jù)和模型的影響和關(guān)系，從而提高 AI 可解釋性。它還可以幫助您獲得有關(guān)模型的部署、公平性、質(zhì)量和風(fēng)險(xiǎn)方面見解。該解決方案使用對(duì)比解釋和模型無關(guān)的局部解釋 (LIME) 等工具幫助解釋 AI 事務(wù)、分類模型、圖像模型和非結(jié)構(gòu)化文本模型。
試用 IBM Cloud Pak for Data as a Service
學(xué)習(xí)如何解釋事務(wù)
腳注
1 “Explainable AI”，英國皇家學(xué)會(huì)，2019 年 11 月 28 日。（鏈接位于 ibm.com 外部）
2” Explainable Artificial Intelligence”，Jaime Zornoza，2020 年 4 月 15 日。（鏈接位于 ibm.com 外部）
3 “Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”，ScienceDirect，2020 年 6 月。（鏈接位于 ibm.com 外部）
? “Understanding Explainable AI”，福布斯撰稿人 Ron Schmelzer，2019 年 7 月 23 日。（鏈接位于 ibm.com 外部）
? ” Explainable Artificial Intelligence (XAI)”，Matt Turek 博士，美國國防高級(jí)研究計(jì)劃局 (DARPA)。（鏈接位于 ibm.com 外部）
可解釋人工智能 (一): 概述 - 知乎首發(fā)于可解釋人工智能切換模式寫文章登錄/注冊(cè)可解釋人工智能 (一): 概述紫氣東來??上海交通大學(xué) 工學(xué)碩士1. 什么是可解釋人工智能可解釋人工智能（Explainable Artificial Intelligence, XAI）是指智能體以一種可解釋、可理解、人機(jī)互動(dòng)的方式，與人工智能系統(tǒng)的使用者、受影響者、決策者、開發(fā)者等，達(dá)成清晰有效的溝通，以取得人類信任，同時(shí)滿足監(jiān)管要求。AI VS. XAI簡單而言，可解釋性可用于兩個(gè)階段：模型之前(pre)和模型之后(post)。如下圖所示，對(duì)于人工智能模型而言，討論其可解釋性需要關(guān)注以下幾個(gè)層面：算法的透明性和簡單性（Algorithmic Transparency and Simplicity）表達(dá)的可解構(gòu)性（Decomposability）模型的可擔(dān)責(zé)性（Accountability）算法的適用邊界因果分析和推理對(duì)黑盒模型的事后解釋（Post-hoc Explanation）對(duì)模型表達(dá)能力的建模與解釋人們對(duì)于解釋的評(píng)價(jià)與度量指對(duì)于特定的可解釋性方法的評(píng)測(cè)。常見的測(cè)評(píng)角度包括以下幾種：可解釋性方法的敏感度可解釋性方法的對(duì)抗攻擊魯棒性可解釋性方法的全面性可解釋性方法的客觀性解釋結(jié)果的簡單易懂性可解釋性方法的互洽性可解釋性方法的計(jì)算效率2. 為什么需要可解釋人工智能了解人工智能模型的正確決策機(jī)制，是提升人類對(duì)人工智能模型信任度的重要方法。而現(xiàn)有人工智能可解釋性的研究成果揭示，基于數(shù)據(jù)驅(qū)動(dòng)的人工智能系統(tǒng)決策機(jī)制，離取得人類信任這一終極目標(biāo)，至少還存在以下3個(gè)方面的差距：機(jī)器學(xué)習(xí)決策機(jī)制的理論缺陷現(xiàn)在的機(jī)器學(xué)習(xí)方法，通常就是在輸入數(shù)據(jù)和預(yù)期結(jié)果之間建立關(guān)聯(lián)（Association）, 而由于數(shù)據(jù)樣本普遍存在局限和偏差，這種關(guān)聯(lián)學(xué)習(xí)不可避免地學(xué)到一種虛假關(guān)系（Spurious Relationship）。為了發(fā)現(xiàn)出真正的因果關(guān)系，需要通過主動(dòng)干預(yù)（intervention）實(shí)驗(yàn)來拓展觀測(cè)現(xiàn)象，并運(yùn)用反事實(shí)推理（Counterfactual Reasoning）去偽存真。因果推理的三個(gè)認(rèn)知層次 2. 機(jī)器學(xué)習(xí)的應(yīng)用缺陷數(shù)據(jù)樣本的局限和偏見，會(huì)導(dǎo)致數(shù)據(jù)驅(qū)動(dòng)的人工智能系統(tǒng)存在偏見；“黑盒“的深度學(xué)習(xí)網(wǎng)絡(luò)存在安全性上的潛在風(fēng)險(xiǎn)；從決策機(jī)制來看，當(dāng)前對(duì)深度學(xué)習(xí)的分析還處于不透明的摸索階段。 3. 人工智能系統(tǒng)未能滿足監(jiān)管要求可解釋人工智能的全路徑3. 如何研究可解釋性可解釋性可主要分為以下幾個(gè)類別：特定模型的可解釋性(Model-Specific explainability)嚴(yán)格限定于特定模型算法的可解釋性，如決策樹模型、貝葉斯網(wǎng)絡(luò)等。不限模型的可解釋性(Model-Agnostic explainability)這種類型的解釋適用于任何類型的機(jī)器學(xué)習(xí)模型。通常，后分析方法將在機(jī)器學(xué)習(xí)模型訓(xùn)練之后使用，它不依賴于任何特定算法，并且不了解內(nèi)部模型結(jié)構(gòu)和權(quán)重。模型中心的可解釋性(Model-Centric explainability)大多數(shù)解釋方法都是以模型為中心的，因?yàn)檫@些方法用于解釋如何調(diào)整特征和目標(biāo)值，應(yīng)用各種算法并提取特定的結(jié)果集。數(shù)據(jù)中心的可解釋性(Data-Centric explainability)因?yàn)閿?shù)據(jù)在模型訓(xùn)練和預(yù)測(cè)中有重要作用，這類方法主要用于理解數(shù)據(jù)的意義，常見的方法有：數(shù)據(jù)剖析(Data Profiling)、監(jiān)控?cái)?shù)據(jù)漂移(Monitoring Data-Drifts)和數(shù)據(jù)對(duì)抗(Data-Adversarial)?？山忉屝约夹g(shù)的分類模型可解釋性的研究方法：知識(shí)抽取 (Knowledge extraction)探索性數(shù)據(jù)分析 (Exploratory Data Analysis, EDA)結(jié)果可視化 (Result visualization)比較分析 (Comparison analysis)基于影響的方法 (Influence-based)敏感性分析與特征重要性選擇 (Sensitivity Analysis and Feature selection importance)分享幾個(gè)有用的可解釋性分析工具：SHAP (Shapley Values)一種基于博弈論的解釋性方法，可以衡量輸入樣本不同維度對(duì)預(yù)測(cè)結(jié)果的重要性LIME (Local Interpretable Model Agnostic Explanations)可以對(duì)任意機(jī)器模型預(yù)測(cè)給出解釋的方法，可以衡量輸入樣本不同維度對(duì)預(yù)測(cè)結(jié)果的重要性AnchorsLRP (Layer-wise Relevance Propagation) ：repo 1 and repo 2Prediction Difference Analysis (PDA)TCAV (Testing with Concept Activation Vectors)4. 可解釋人工智能有什么用XAI 的相關(guān)要素可解釋AI 在各行各業(yè)都有廣泛的應(yīng)用前景，在AI決策能夠產(chǎn)生重大影響的金融、醫(yī)療健康和司法等風(fēng)險(xiǎn)極高的領(lǐng)域，需求尤為強(qiáng)烈。下表顯示了部分可解釋性AI行業(yè)應(yīng)用中的不同類型解釋：行業(yè)面向開發(fā)者面向監(jiān)管者面向使用者面向應(yīng)用用戶生物醫(yī)療人工智能歸納的信息和數(shù)據(jù)規(guī)律符合倫理和法規(guī)要求模型的高可信度模型的高透明度模型表征與醫(yī)學(xué)知識(shí)的聯(lián)系可視化、語義化、關(guān)系代理模型輸出的合理性可理解的診斷結(jié)果金融模型假設(shè)是否滿足，模型邏輯是否自洽，模型代碼是否正常符合預(yù)設(shè)人工智能風(fēng)險(xiǎn)的可解釋性與人工智能建模的可解釋性模型算法的決策可解釋性、算法的可追溯性、算法對(duì)于數(shù)據(jù)使用的偏見預(yù)警、算法的風(fēng)險(xiǎn)可控制性應(yīng)用服務(wù)對(duì)象：算法決策依據(jù)、算法公平性程序樣本來源：隱私權(quán)保護(hù)、知情權(quán)保護(hù)電商推薦推薦算法內(nèi)在的運(yùn)作機(jī)制專業(yè)的數(shù)字化解釋視覺上可解釋的推薦模型、可解釋產(chǎn)品搜索可解釋的序列推薦、跨類別的可解釋性推薦隱私權(quán)保護(hù)、知情權(quán)保護(hù)基于特征的解釋及用戶評(píng)論城市管理推薦算法內(nèi)在的運(yùn)作機(jī)制專業(yè)的數(shù)學(xué)化解釋模型的合理性和穩(wěn)定性數(shù)據(jù)的安全性可解釋的位置推薦最有價(jià)值的特征的推薦和解釋不同地點(diǎn)之間的關(guān)系的解釋、推薦位置的特征詞云安防安防算法內(nèi)部的運(yùn)行機(jī)制、行為邏輯和決策依據(jù)模型的公平性、偏見性和穩(wěn)定性模型的安全性和可靠性隱私權(quán)保護(hù)、知情權(quán)保護(hù)法律咨詢咨詢算法內(nèi)部的運(yùn)行機(jī)制模型代碼是否正常符合預(yù)設(shè)可視化的知識(shí)圖譜檢索、推理和決策邏輯基于知識(shí)引入的模型可靠性內(nèi)容的即時(shí)性、針對(duì)性和準(zhǔn)確性參考資料[1] 可解釋人工智能導(dǎo)論[M]. 楊強(qiáng)，范力欣，朱軍，陳一昕，張拳石，朱松純 等著.[2] Masís S. Interpretable machine learning with Python: Learn to build interpretable high-performance models with hands-on real-world examples[M]. Packt Publishing Ltd, 2021.[3] Molnar C. Interpretable machine learning[M]. Lulu. com, 2020.[4] 可解釋機(jī)器學(xué)習(xí)--黑盒模型可解釋性理解指南[M]. Molnar C 著, 朱明超 譯, 2021.[5] Principles and Practice of Explainable Machine Learning飛花兩岸照船紅，百里榆堤半日風(fēng)。臥看滿天云不動(dòng)，不知云與我俱東。 ——陳與義《襄邑道中》編輯于 2023-03-05 11:47?IP 屬地新加坡人工智能可解釋機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)?贊同 40??添加評(píng)論?分享?喜歡?收藏?申請(qǐng)轉(zhuǎn)載?文章被以下專欄收錄可解釋人工智能對(duì)于可解釋人工智能的學(xué)習(xí)心得
如何看待機(jī)器（深度）學(xué)習(xí)可解釋方法（XAI）的現(xiàn)狀與未來? - 知乎首頁知乎知學(xué)堂發(fā)現(xiàn)等你來答?切換模式登錄/注冊(cè)人工智能機(jī)器學(xué)習(xí)機(jī)器智能深度學(xué)習(xí)（Deep Learning）可解釋機(jī)器學(xué)習(xí)如何看待機(jī)器（深度）學(xué)習(xí)可解釋方法（XAI）的現(xiàn)狀與未來?題主對(duì)現(xiàn)有的可解釋方法進(jìn)行了調(diào)研:大體分為局部可解釋與全局可解釋兩大類方法，局部可解釋針對(duì)具體的輸入樣本得出類似屬性重要性的度量，比如傳統(tǒng)的permu…顯示全部 ?關(guān)注者37被瀏覽19,226關(guān)注問題?寫回答?邀請(qǐng)回答?好問題 3?添加評(píng)論?分享?3 個(gè)回答默認(rèn)排序曲奇?騰訊 算法工程師? 關(guān)注最近了解了一些機(jī)器學(xué)習(xí)可解釋性的知識(shí)，可以參考一下～原文鏈接：機(jī)器學(xué)習(xí)模型的可解釋性 - QIQI的文章 - 知乎 https://zhuanlan.zhihu.com/p/258988892通過模型可解釋方法，可以直觀地傳遞關(guān)于模型行為的解釋，比如為什么這個(gè)樣本被預(yù)測(cè)為這個(gè)標(biāo)簽，某個(gè)特征對(duì)預(yù)測(cè)結(jié)果起到了什么樣的作用。1.1 可解釋的重要性模型改進(jìn) 通過可解釋分析，可以指導(dǎo)特征工程。一般我們會(huì)根據(jù)一些專業(yè)知識(shí)和經(jīng)驗(yàn)來做特征，并分析特征重要性，可以挖掘更多有用的特征，尤其是在交互特征方面。當(dāng)原始特征眾多時(shí)，可解釋性分析將特別重要。 科學(xué)的目標(biāo)是獲取知識(shí)，模型本身應(yīng)該成為知識(shí)的來源，而不是結(jié)果或數(shù)據(jù)。比如在一個(gè)文本分類任務(wù)中，判斷文章是與“基督教”（Christianity）有關(guān)還是“無神論教”（Atheism）”，模型準(zhǔn)確率，90%多很高。但是用LIME進(jìn)行可解釋分析發(fā)現(xiàn)，Posting（郵件標(biāo)頭的一部分）這個(gè)詞重要性很高，但這個(gè)詞匯與無神論本身并沒有太多的聯(lián)系，只是因?yàn)樵跓o神論文章中出現(xiàn)的頻次很高。這意味著盡管模型準(zhǔn)確率很高，但所使用的原因是錯(cuò)誤的。我們可以借此改進(jìn)模型，判斷是否捕捉到有意義的特征。檢測(cè)偏見 方差和偏差是機(jī)器學(xué)習(xí)中廣泛討論的話題。有偏差的模型經(jīng)常由有偏見的事實(shí)導(dǎo)致，即數(shù)據(jù)本身很有可能帶有偏差。某類特征的偏差可能對(duì)我們結(jié)果導(dǎo)致不好的影響。模型可信度 對(duì)使用模型的運(yùn)維人員來講，可能只只知道預(yù)測(cè)結(jié)果是什么，是否異常，但是人類的好奇心是天性，想知道模型為什么要給出這樣的預(yù)測(cè)，我為什么要相信模型的結(jié)果。解決模型可解釋問題有利于用戶更加放心地應(yīng)用和部署在真實(shí)場(chǎng)景上。1.2 可解釋分類Pre-Model vs. In-Model vs. Post-Modelpre-model的解釋獨(dú)立于模型本身，他們只能應(yīng)用于數(shù)據(jù)。比如提供一個(gè)對(duì)數(shù)據(jù)更好的理解。這和數(shù)據(jù)可解釋性很接近，包括了數(shù)據(jù)分析和數(shù)據(jù)探索。常見的方法從描述統(tǒng)計(jì)學(xué)到數(shù)據(jù)可視化，包括PCA，t-SNE，聚類方法等。in-model主要是模型本質(zhì)可解釋。又稱為Intrinsic。比如模型本身存在的稀疏性、單調(diào)性、因果性，或外在約束，或是模型權(quán)重。post-model指已經(jīng)建立模型之后再去做可解釋分析。又稱為Post hoc。Model Specific, Model Agnosticmodel specific指方法本身是基于特定模型的。比如線性模型的權(quán)重就是model-specific的。model agnostic指方法可以應(yīng)用于任何模型，同時(shí)也是后驗(yàn)的（post hoc）。這種方法是分析輸入和輸出，而不能分析到模型內(nèi)部。上述兩種分類方法的關(guān)聯(lián)：可解釋方法的返回結(jié)果Feature summary：一些可解釋性方法返回每個(gè)特征的一些統(tǒng)計(jì)信息，比如每個(gè)特征一個(gè)重要性衡量。有些方法是用圖示來表示的特征統(tǒng)計(jì)的，比如partial dependence plots。Model Internals：對(duì)一些本質(zhì)可解釋的模型，他們的輸出比如線性模型的權(quán)重。當(dāng)然，他們的輸出是model-specific的。Data Point：返回一些本身可解釋的數(shù)據(jù)點(diǎn)，比如圖片和文本。但是對(duì)高維的連續(xù)型樣本可能沒有用。Surrogate intrinsically interpretable model：使用一個(gè)替代模型去解釋原來的黑盒模型，把問題轉(zhuǎn)化為對(duì)替代模型的解釋?？山忉屝缘姆秶挚山忉?這個(gè)層級(jí)的可解釋性指的是，模型如何基于整個(gè)特征空間和模型結(jié)構(gòu)、參數(shù)等作出決策的。什么特征是重要的，特征交互會(huì)發(fā)生什么。模型的全局可解釋性可以幫助理解，針對(duì)不同特征，目標(biāo)變量的分布是什么。局部可解釋 局部可解釋性更加關(guān)注單條樣本或一組樣本。這種情況下我們可以將模型看做是一個(gè)黑盒，不再考慮模型的復(fù)雜情況。單條樣本來看，模型給出的預(yù)測(cè)值和某些特征可能是線性關(guān)系，甚至是單調(diào)關(guān)系。因此局部可解釋性可能相比全局可解釋，更加準(zhǔn)確點(diǎn)。1.3 可解釋的模型最簡單的機(jī)器學(xué)習(xí)可解釋性就是直接使用可解釋模型，比如邏輯回歸、線性模型、決策樹?？山忉尩哪Ｐ椭饕紤]以下幾個(gè)性質(zhì)：線性：特征取值和標(biāo)簽取值是否存在線性關(guān)系單調(diào)性：特征取值和標(biāo)簽取值是否存在單調(diào)性關(guān)系交叉：一些模型能自動(dòng)交叉特征1.4 模型解釋方法model-specific 依賴模型比如對(duì)DNN的話，主要有以下方法：guided backpropagation, integrated gradients, SmoothGrad saliency maps, Grad-CAM, Concept Activation Vectors。這些方法主要應(yīng)用于CV領(lǐng)域。還有一類post-hoc的model-specific方法---知識(shí)蒸餾，將一個(gè)復(fù)雜模型化為一個(gè)簡單模型。比如模型壓縮，樹的正則化，降維。model-agnostic 獨(dú)立于模型不取決于模型的機(jī)器學(xué)習(xí)后驗(yàn)（模型已做完訓(xùn)練和預(yù)測(cè)）的解釋方法，這塊總結(jié)主要摘取自論文《Machine Learning Interpretability: A Survey on Methods and Metrics》[1]。1.5 模型可解釋方法SHAPShapley值法是指所得與自己的貢獻(xiàn)相等，是一種分配方式。普遍用于經(jīng)濟(jì)活動(dòng)中的利益合理分配等問題。最早由美國洛杉磯加州大學(xué)教授羅伊德·夏普利（Lloyd Shapley）提出。shapley值法的提出給合作博弈在理論上的重要突破及其以后的發(fā)展帶來了重大影響。簡單的來說就是使分配問題更加的合理，用于為分配問題提供一種合理的方式。SHAP將Shapley值解釋表示為一種可加特征歸因方法，SHAP將模型的預(yù)測(cè)值解釋為每個(gè)輸入特征的歸因值之和。與feature importance相比，SHAP value最大的優(yōu)勢(shì)是SHAP能反映出每一個(gè)樣本中的特征的影響力，而且還表現(xiàn)出影響的正負(fù)性。一個(gè)特征的shapley value是該特征在所有的特征序列中的邊際貢獻(xiàn)的加權(quán)平均值。第i個(gè)樣本實(shí)例的Shapley value的解釋：對(duì)第i個(gè)樣本實(shí)例來說，其所有特征值對(duì)預(yù)測(cè)目標(biāo)值的總貢獻(xiàn)（也就是預(yù)測(cè)目標(biāo)實(shí)際值）與預(yù)測(cè)目標(biāo)平均值之差。1.5.1 原理f(x)是一個(gè)線性模型，x是一個(gè)樣本，x_j是該樣本的一個(gè)特征值，\beta_j是該特征的權(quán)重：f(x)=\beta_{0}+\beta_{1} x_{1}+\ldots+\beta_{p} x_{p}\phi_j是第 j 個(gè)特征對(duì)預(yù)測(cè)值\hat f的貢獻(xiàn)，其中E(X_j)是該特征取值的期望\phi_{j}(\hat{f})=\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)=\beta_{j} x_{j}-\beta_{j} E\left(X_{j}\right)然后把一個(gè)樣本所有特征值的貢獻(xiàn)進(jìn)行求和，樣本$x $所有特征的貢獻(xiàn)之和等于目標(biāo)預(yù)測(cè)值減去目標(biāo)平均預(yù)測(cè)值\begin{aligned}
\sum_{j=1}^{p} \phi_{j}(\hat{f}) &=\sum_{j=1}^{p}\left(\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)\right) \\
&=\left(\beta_{0}+\sum_{j=1}^{p} \beta_{j} x_{j}\right)-\left(\beta_{0}+\sum_{j=1}^{p} E\left(\beta_{j} X_{j}\right)\right) \\
&=\hat{f}(x)-E(\hat{f}(X))
\end{aligned}1.5.2 性質(zhì)1 效率性特征貢獻(xiàn)的累加等于x的預(yù)測(cè)和預(yù)測(cè)平均值的差值\sum_{j=1}^{p} \phi_{j}=\hat{f}(x)-E_{X}(\hat{f}(X))2 對(duì)稱性如果兩個(gè)特征值j和k的貢獻(xiàn)對(duì)所有可能的特征序列貢獻(xiàn)相同，則他們的貢獻(xiàn)應(yīng)該相同。\begin{array}{lr}
\text { if } & \text { val }\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}\left(S \cup\left\{x_{k}\right\}\right) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \backslash\left\{x_{j}, x_{k}\right\} \\
& \text { then } \quad \phi_{j}=\phi_{k}
\end{array}3 虛擬性一個(gè)不改變預(yù)測(cè)值的特征j，無論它添加到哪個(gè)特征值序列中，Shapley值都應(yīng)該為0。\begin{array}{cc}
\text { if } & \operatorname{val}\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}(S) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \\
\text { then } & \phi_{j}=0
\end{array}1.6 模型可解釋方法LIMELIME全稱是Local Interpretable Model-Agnostic Explanations。LIME與模型無關(guān)，這意味著它可以應(yīng)用于任何機(jī)器學(xué)習(xí)模型。該技術(shù)試圖通過擾動(dòng)數(shù)據(jù)樣本的輸入并理解預(yù)測(cè)的變化來理解模型。流程：訓(xùn)練模型，模型（記作 ff）可以是LR、NN、Wide and deep、C4.5 Decision tree、Random forest、GBDT等任意模型。訓(xùn)練結(jié)束后我們需要解析模型，先選擇一個(gè)待解析的樣本，樣本通過模型計(jì)算可以得到一個(gè)prediction（包含預(yù)測(cè)的label以及預(yù)測(cè)為1的probability），這時(shí)我們?cè)谶@個(gè)樣本的附近選擇新的樣本并用模型計(jì)算出多個(gè)prediction，這樣樣本組合新的樣本集。然后使用新的可解析的特征和prediction作為label來訓(xùn)練新的簡單模型（例如LR），然后使用簡單模型的權(quán)重作為這些特征的重要性作為輸出。就是選擇一個(gè)樣本以及樣本附近的點(diǎn)，然后訓(xùn)練一個(gè)簡單模型來擬合，雖然簡單模型不能在完整數(shù)據(jù)集上有效，但至少在這個(gè)點(diǎn)附近都是有效的，這個(gè)簡單模型的特征是人類可解析的，而訓(xùn)練出的權(quán)重也可以表示特征重要性。1.7 問題項(xiàng)在應(yīng)用中，存在一些問題可以思考：在異常區(qū)間較大，是由多個(gè)樣本組成的時(shí)候，選擇哪一個(gè)樣本去做機(jī)器學(xué)習(xí)解釋？比如第一個(gè)異常點(diǎn)。目前大多數(shù)時(shí)間序列特征已經(jīng)相對(duì)抽象，像變異系數(shù)、偏度等，用戶得知此特征對(duì)預(yù)測(cè)異常有較大幫助之后，是否有真正的幫助？并且，依然存在理解門檻的問題，所以目前的技術(shù)，好像比較難真正幫助用戶理解模型。LIME和SHAP作為單獨(dú)的特征可解釋性方法，不依賴于模型，其本身置信度如何？模型本身是特征之間的高階交叉，從單個(gè)特征的重要性可能沒有辦法解釋高階交叉對(duì)預(yù)測(cè)結(jié)果的幫助。ReferenceDiogo V. Carvalho, Machine Learning Interpretability: A Survey on Methods and MetricsFriedman, J.H. Greedy function approximation: A gradient boosting machine. Ann. Stat. 2001, 29, 1189–1232.Goldstein, A.; Kapelner, A.; Bleich, J.; Pitkin, E. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. J. Comput. Gr. Stat. 2015, 24, 44–65. Apley, D.W. Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models. arXiv 2016, arXiv:1612.08468.Friedman, J.H.; Popescu, B.E. Predictive learning via rule ensembles. Ann. Appl. Stat. 2008, 2, 916–954.Fisher, A.; Rudin, C.; Dominici, F. Model Class Reliance: Variable Importance Measures for any Machine Learning Model Class, from the “Rashomon” Perspective. arXiv 2018, arXiv:1801.01489.Ribeiro, M.T.; Singh, S.; Guestrin, C. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, 13–17 August 2016; pp. 1135–1144.Lundberg, S.M.; Lee, S.I. A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2017; pp. 4765–4774.Staniak, M.; Biecek, P. Explanations of model predictions with live and breakDown packages. arXiv 2018, arXiv:1804.01955.Ribeiro, M.T.; Singh, S.; Guestrin, C. Anchors: High-Precision Model-Agnostic Explanations. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), New Orleans, LA, USA, 2–7 February 2018.Wachter, S.; Mittelstadt, B.; Russell, C. Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR.(2017). Harv. J. Law Technol. 2017, 31, 841Kim, B.; Khanna, R.; Koyejo, O.O. Examples are not enough, learn to criticize! Criticism for interpretability. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2016; pp. 2280–2288.Koh, P.W.; Liang, P. Understanding black-box predictions via influence functions. arXiv 2017, arXiv:1703.04730.發(fā)布于 2020-10-21 09:36?贊同 33??1 條評(píng)論?分享?收藏?喜歡收起?Hao WangRatidar CEO? 關(guān)注Fair recommendation by geometric interpretation and analysis of matrix factorization . 這是我在國際學(xué)術(shù)會(huì)議 RAIIE 2022 上發(fā)表的論文。講的是如何利用可解釋機(jī)器學(xué)習(xí)來處理推薦系統(tǒng)問題。如果感興趣的話，歡迎發(fā)郵件到我的郵箱。發(fā)布于 2023-03-26 22:15?贊同??添加評(píng)論?分享?收藏?喜歡收起??
GitHub - EthicalML/xai: XAI - An eXplainability toolbox for machine learning
Skip to content
Toggle navigation
Sign in
Product
Actions
Automate any workflow
Packages
Host and manage packages
Security
Find and fix vulnerabilities
Codespaces
Instant dev environments
Copilot
Write better code with AI
Code review
Manage code changes
Issues
Plan and track work
Discussions
Collaborate outside of code
Explore
All features
Documentation
GitHub Skills
Blog
Solutions
For
Enterprise
Teams
Startups
Education
By Solution
CI/CD & Automation
DevOps
DevSecOps
Resources
Learning Pathways
White papers, Ebooks, Webinars
Customer Stories
Partners
Open Source
GitHub Sponsors
Fund open source developers
The ReadME Project
GitHub community articles
Repositories
Topics
Trending
Collections
Pricing
Search or jump to...
Search code, repositories, users, issues, pull requests...
Search
Clear
Search syntax tips
Provide feedback
We read every piece of feedback, and take your input very seriously.
Include my email address so I can be contacted
Cancel
Submit feedback
Saved searches
Use saved searches to filter your results more quickly
Name
Query
To see all available qualifiers, see our documentation.
Cancel
Create saved search
Sign in
Sign up
You signed in with another tab or window. Reload to refresh your session.
You signed out in another tab or window. Reload to refresh your session.
You switched accounts on another tab or window. Reload to refresh your session.
Dismiss alert
EthicalML
/
xai
Public
Notifications
Fork
154
Star
1k
XAI - An eXplainability toolbox for machine learning
ethical.institute/principles.html#commitment-3
License
MIT license
1k
stars
154
forks
Branches
Tags
Activity
Star
Notifications
Code
Issues
3
Pull requests
0
Actions
Projects
1
Security
Insights
Additional navigation options
Code
Issues
Pull requests
Actions
Projects
Security
Insights
EthicalML/xai
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
?masterBranchesTagsGo to fileCodeFolders and filesNameNameLast commit messageLast commit dateLatest commit?History91 Commitsdocsdocs??docs_srcdocs_src??examplesexamples??imagesimages??xaixai??.gitignore.gitignore??LICENSELICENSE??MANIFEST.inMANIFEST.in??README.mdREADME.md??ROADMAP.mdROADMAP.md??env.ymlenv.yml??meta.yamlmeta.yaml??mkdocs.ymlmkdocs.yml??requirements.txtrequirements.txt??setup.pysetup.py??View all filesRepository files navigationREADMEMIT license
XAI - An eXplainability toolbox for machine learning
XAI is a Machine Learning library that is designed with AI explainability in its core. XAI contains various tools that enable for analysis and evaluation of data and models. The XAI library is maintained by The Institute for Ethical AI & ML, and it was developed based on the 8 principles for Responsible Machine Learning.
You can find the documentation at https://ethicalml.github.io/xai/index.html. You can also check out our talk at Tensorflow London where the idea was first conceived - the talk also contains an insight on the definitions and principles in this library.
YouTube video showing how to use XAI to mitigate undesired biases
This video of the talk presented at the PyData London 2019 Conference which provides an overview on the motivations for machine learning explainability as well as techniques to introduce explainability and mitigate undesired biases using the XAI Library.
Do you want to learn about more awesome machine learning explainability tools? Check out our community-built "Awesome Machine Learning Production & Operations" list which contains an extensive list of tools for explainability, privacy, orchestration and beyond.
0.1.0
If you want to see a fully functional demo in action clone this repo and run the Example Jupyter Notebook in the Examples folder.
What do we mean by eXplainable AI?
We see the challenge of explainability as more than just an algorithmic challenge, which requires a combination of data science best practices with domain-specific knowledge. The XAI library is designed to empower machine learning engineers and relevant domain experts to analyse the end-to-end solution and identify discrepancies that may result in sub-optimal performance relative to the objectives required. More broadly, the XAI library is designed using the 3-steps of explainable machine learning, which involve 1) data analysis, 2) model evaluation, and 3) production monitoring.
We provide a visual overview of these three steps mentioned above in this diagram:
XAI Quickstart
Installation
The XAI package is on PyPI. To install you can run:
pip install xai
Alternatively you can install from source by cloning the repo and running:
python setup.py install
Usage
You can find example usage in the examples folder.
1) Data Analysis
With XAI you can identify imbalances in the data. For this, we will load the census dataset from the XAI library.
import xai.data
df = xai.data.load_census()
df.head()
View class imbalances for all categories of one column
ims = xai.imbalance_plot(df, "gender")
View imbalances for all categories across multiple columns
im = xai.imbalance_plot(df, "gender", "loan")
Balance classes using upsampling and/or downsampling
bal_df = xai.balance(df, "gender", "loan", upsample=0.8)
Perform custom operations on groups
groups = xai.group_by_columns(df, ["gender", "loan"])
for group, group_df in groups:
print(group)
print(group_df["loan"].head(), "\n")
Visualise correlations as a matrix
_ = xai.correlations(df, include_categorical=True, plot_type="matrix")
Visualise correlations as a hierarchical dendogram
_ = xai.correlations(df, include_categorical=True)
Create a balanced validation and training split dataset
# Balanced train-test split with minimum 300 examples of
# the cross of the target y and the column gender
x_train, y_train, x_test, y_test, train_idx, test_idx = \
xai.balanced_train_test_split(
x, y, "gender",
min_per_group=300,
max_per_group=300,
categorical_cols=categorical_cols)
x_train_display = bal_df[train_idx]
x_test_display = bal_df[test_idx]
print("Total number of examples: ", x_test.shape[0])
df_test = x_test_display.copy()
df_test["loan"] = y_test
_= xai.imbalance_plot(df_test, "gender", "loan", categorical_cols=categorical_cols)
2) Model Evaluation
We are able to also analyse the interaction between inference results and input features. For this, we will train a single layer deep learning model.
model = build_model(proc_df.drop("loan", axis=1))
model.fit(f_in(x_train), y_train, epochs=50, batch_size=512)
probabilities = model.predict(f_in(x_test))
predictions = list((probabilities >= 0.5).astype(int).T[0])
Visualise permutation feature importance
def get_avg(x, y):
return model.evaluate(f_in(x), y, verbose=0)[1]
imp = xai.feature_importance(x_test, y_test, get_avg)
imp.head()
Identify metric imbalances against all test data
_= xai.metrics_plot(
y_test,
probabilities)
Identify metric imbalances across a specific column
_ = xai.metrics_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=["gender"],
categorical_cols=categorical_cols)
Identify metric imbalances across multiple columns
_ = xai.metrics_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=["gender", "ethnicity"],
categorical_cols=categorical_cols)
Draw confusion matrix
xai.confusion_matrix_plot(y_test, pred)
Visualise the ROC curve against all test data
_ = xai.roc_plot(y_test, probabilities)
Visualise the ROC curves grouped by a protected column
protected = ["gender", "ethnicity", "age"]
_ = [xai.roc_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=[p],
categorical_cols=categorical_cols) for p in protected]
Visualise accuracy grouped by probability buckets
d = xai.smile_imbalance(
y_test,
probabilities)
Visualise statistical metrics grouped by probability buckets
d = xai.smile_imbalance(
y_test,
probabilities,
display_breakdown=True)
Visualise benefits of adding manual review on probability thresholds
d = xai.smile_imbalance(
y_test,
probabilities,
bins=9,
threshold=0.75,
manual_review=0.375,
display_breakdown=False)
About
XAI - An eXplainability toolbox for machine learning
ethical.institute/principles.html#commitment-3
Topics
machine-learning
ai
evaluation
ml
artificial-intelligence
upsampling
bias
interpretability
feature-importance
explainable-ai
explainable-ml
xai
imbalance
downsampling
explainability
bias-evaluation
machine-learning-explainability
xai-library
Resources
Readme
License
MIT license
Activity
Custom properties
Stars
1k
stars
Watchers
45
watching
Forks
154
forks
Report repository
Releases
1
v0.1.0
Latest
Oct 30, 2021
Packages
0
No packages published
Contributors
3
axsaucedo
Alejandro Saucedo
uwaisiqbal
Uwais Iqbal
sai-krishna-msk
Sai Krishna
Languages
Python
96.5%
Makefile
1.8%
Batchfile
1.7%
Footer
? 2024 GitHub,?Inc.
Footer navigation
Terms
Privacy
Security
Status
Docs
Contact
Manage cookies
Do not share my personal information
You can’t perform that action at this time.
什么是可解釋的 AI (XAI)？- 瞻博網(wǎng)絡(luò)
X
Help us improve your experience.
Let us know what you think.
Do you have time for a two-minute survey?
Yes
Maybe Later
聯(lián)系銷售部門
登錄
我的帳戶
訪問合作伙伴中心
編輯帳戶信息
注冊(cè)新產(chǎn)品
創(chuàng)建帳戶
退出
CN | ZH
美洲
巴西 - Português
墨西哥 - Espa?ol
美國 - English
亞洲
中國 - 中文
日本 - 日本語
韓國 - ???
歐洲
法國 - Fran?ais
德國 - Deutsch
以色列 - 英語
意大利 - Italiano
荷蘭 - Nederlands
西班牙 - Espa?ol
英國 - English
立即試用
CN | ZH
產(chǎn)品和解決方案
我對(duì)以下內(nèi)容感興趣
IT 網(wǎng)絡(luò)
服務(wù)提供商
云運(yùn)營商
安全
軟件和“軟件即服務(wù)”(SaaS)
搜索條件
產(chǎn)品
解決方案
行業(yè)
服務(wù)
IT 網(wǎng)絡(luò)
詳細(xì)了解瞻博網(wǎng)絡(luò)客戶端到云端架構(gòu)的優(yōu)勢(shì)。
自動(dòng)化
數(shù)據(jù)中心
有線接入
無線接入
SD-WAN
企業(yè) WAN
Enterprise at Home
室內(nèi)定位
SASE
物聯(lián)網(wǎng)
服務(wù)提供商
了解瞻博網(wǎng)絡(luò)的體驗(yàn)優(yōu)先網(wǎng)絡(luò)如何為服務(wù)提供商及其客戶提供差異化??體驗(yàn)。
IP 傳輸
電信云
托管服務(wù)
自動(dòng)化
服務(wù)提供商安全
云運(yùn)營商
賦能云運(yùn)營商創(chuàng)新。
400G
數(shù)據(jù)中心
云路由
自動(dòng)化
軟件分解
安全
借助 Juniper Connected Security 打造威脅感知型網(wǎng)絡(luò)。
SASE
新一代防火墻
公共云安全
威脅檢測(cè)和緩解
SD-WAN
保護(hù)數(shù)據(jù)中心
服務(wù)提供商安全
軟件和“軟件即服務(wù)”(SaaS)
了解云交付或本地（部署）產(chǎn)品。
AIOps
云服務(wù)
NaaS
自動(dòng)化
安全
電信云
Juniper Flex 許可
SASE
特色產(chǎn)品
Apstra
自動(dòng)化
防火墻
Junos OS
Marvis VNA
Mist AI 和云
光學(xué)/光學(xué)器件
路由器
Session Smart 路由器
SDN 和編排
安全服務(wù)
交換機(jī)
無線接入
特色解決方案
400G
AIOps
自動(dòng)化
云城域網(wǎng)
數(shù)據(jù)中心
Enterprise at Home
IP 傳輸
SASE
SD-WAN
電信云
有線接入
無線接入
行業(yè)
解決方案
教育
能源與公用事業(yè)
政府
醫(yī)療保健
媒體與娛樂
零售
服務(wù)
借助瞻博網(wǎng)絡(luò)全球服務(wù)擴(kuò)大業(yè)務(wù)成果。
人工智能驅(qū)動(dòng)型企業(yè)
自動(dòng)化
數(shù)據(jù)中心
安全
支持
培訓(xùn)
為您推薦
參加我們的每周演示
親自體驗(yàn) IT 網(wǎng)絡(luò)。
業(yè)界認(rèn)可
瞻博網(wǎng)絡(luò)取得了令人矚目的成就，引起了業(yè)界的廣泛關(guān)注。
立即試用
探索多種選項(xiàng)和產(chǎn)品，找到適合您的網(wǎng)絡(luò)解決方案。
為您推薦
云城域網(wǎng)
將云原則應(yīng)用于城域網(wǎng)，實(shí)現(xiàn)可持續(xù)的業(yè)務(wù)增長。
體驗(yàn) 5G
使用我們開放的生態(tài)系統(tǒng)方法，發(fā)揮您網(wǎng)絡(luò)的全部功能和潛力。?
為您推薦
In the Lab
??聆聽瞻博網(wǎng)絡(luò)首席執(zhí)行官 Rami Rahim 參觀實(shí)驗(yàn)室時(shí)的介紹，了解 400G PTX10008 路由器的強(qiáng)大性能。
云服務(wù)產(chǎn)品
瞻博網(wǎng)絡(luò) Mist 云提供現(xiàn)代微服務(wù)云架構(gòu)，以滿足您的人工智能驅(qū)動(dòng)型企業(yè)數(shù)字化轉(zhuǎn)型目標(biāo)。
為您推薦
零信任數(shù)據(jù)中心
將零信任框架應(yīng)用于您的數(shù)據(jù)中心網(wǎng)絡(luò)安全架構(gòu)，保護(hù)數(shù)據(jù)和應(yīng)用。
優(yōu)惠和試用
了解如何使用 Security Director Cloud 在本地和云端管理安全性。
為您推薦
優(yōu)惠和試用
探索多種選項(xiàng)，快速找到適合您的網(wǎng)絡(luò)解決方案。
查看更多產(chǎn)品
所有產(chǎn)品
在一個(gè)位置查看所有產(chǎn)品系列。
產(chǎn)品 A - Z
按名稱獲取產(chǎn)品列表。
為您推薦
全部解決方案
瀏覽瞻博網(wǎng)絡(luò)所有解決方案。
優(yōu)惠和試用
探索多種選項(xiàng)，快速找到適合您的網(wǎng)絡(luò)解決方案。
為您推薦
所有行業(yè)
瀏覽瞻博網(wǎng)絡(luò)的所有行業(yè)解決方案。
優(yōu)惠和試用
探索多種選項(xiàng)，快速找到適合您的網(wǎng)絡(luò)解決方案。
為您推薦
優(yōu)惠和試用
探索多種選項(xiàng)，快速找到適合您的網(wǎng)絡(luò)解決方案。
客戶
與我們合作
入門
軟件下載
文檔
培訓(xùn)和認(rèn)證
社區(qū)
支持
我們的客戶
成功案例
提升獎(jiǎng)
分享您的案例
入門
歡迎訪問瞻博網(wǎng)絡(luò)
創(chuàng)建瞻博網(wǎng)絡(luò)帳戶
激活許可證
通過產(chǎn)品快速入門
聯(lián)系支持
設(shè)計(jì)中心
免費(fèi)培訓(xùn)
軟件下載
Junos
EX 系列
SRX 系列
MX 系列
QFX 系列
Junos Space
vSRX 評(píng)估
vQFX 評(píng)估
ACX 系列
PTX 系列
所有下載
文檔
技術(shù)文檔（技術(shù)庫）
Day One 書籍
知識(shí)庫
產(chǎn)品與特性數(shù)據(jù) (Pathfinder)
問題報(bào)告搜索
培訓(xùn)和認(rèn)證
通過我們的技術(shù)培訓(xùn)和認(rèn)證計(jì)劃，培養(yǎng)并轉(zhuǎn)變您的網(wǎng)絡(luò)技能。
瞻博網(wǎng)絡(luò)培訓(xùn)
全通培訓(xùn)通行證
直播課程計(jì)劃
點(diǎn)播課程
免費(fèi)培訓(xùn)
瞻博網(wǎng)絡(luò)認(rèn)證
私人培訓(xùn)
社區(qū)
解答您對(duì)瞻博網(wǎng)絡(luò)產(chǎn)品和服務(wù)的疑問，與同行分享您的瞻博網(wǎng)絡(luò)專業(yè)知識(shí)。
自動(dòng)化
云
數(shù)據(jù)中心
Junos OS
管理
路由
SD-WAN
安全
交換
無線
提升獎(jiǎng)
表彰使用瞻博網(wǎng)絡(luò)解決方案改變世界的創(chuàng)新者。
現(xiàn)設(shè)獎(jiǎng)項(xiàng)
過往獎(jiǎng)項(xiàng)
為您推薦
全通培訓(xùn)通行證
一整年內(nèi)的所有瞻博網(wǎng)絡(luò)課程。
點(diǎn)播課程
實(shí)踐操作，基于實(shí)驗(yàn)室的自定進(jìn)度培訓(xùn)。
瞻博網(wǎng)絡(luò)開放式學(xué)習(xí)門戶
免費(fèi)培訓(xùn)和優(yōu)惠認(rèn)證
更多社區(qū)
TechPost
由網(wǎng)絡(luò)工程師撰寫的文章，針對(duì)同行所需。
培訓(xùn)和認(rèn)證
獲取瞻博網(wǎng)絡(luò)學(xué)習(xí)旅程的相關(guān)建議。
為您推薦
立即報(bào)名參與 2023 年獎(jiǎng)項(xiàng)提名
合作伙伴
尊敬的瞻博網(wǎng)絡(luò)合作伙伴
查找合作伙伴
查找分銷商
查找合作伙伴
戰(zhàn)略聯(lián)盟
解決方案合作伙伴
技術(shù)聯(lián)盟
成為合作伙伴
概述
解決方案經(jīng)銷商角色
NaaS 提供商角色
創(chuàng)建合作伙伴帳戶
注冊(cè)合作伙伴
合作伙伴登錄
學(xué)習(xí)中心
瞻博網(wǎng)絡(luò)冠軍
公司
公司
關(guān)于我們
公司概況
多元包容
創(chuàng)新
氣候變化與可持續(xù)性
領(lǐng)導(dǎo)力
我們的價(jià)值觀
招賢納士
文化和職業(yè)生涯
當(dāng)前開放職位
媒體與分析師
分析師關(guān)系
投資者關(guān)系
新聞中心
為何選擇瞻博網(wǎng)絡(luò)？
業(yè)界認(rèn)可
社區(qū)
客戶成功案例
聯(lián)系銷售部門
合作關(guān)系
支持
瞻博網(wǎng)絡(luò)支持
自助服務(wù)工具
歡迎訪問瞻博網(wǎng)絡(luò)
入門
瞻博網(wǎng)絡(luò)支持門戶
產(chǎn)品許可證密鑰
產(chǎn)品授權(quán)搜索
更新現(xiàn)有客戶
聯(lián)系支持
下載
ACX 系列
EX 系列
MX 系列
PTX 系列
QFX 系列
SRX 系列
Junos Space
SSG 系列
所有下載
文檔
知識(shí)庫
技術(shù)文檔（技術(shù)庫）
問題報(bào)告搜索
產(chǎn)品與特性數(shù)據(jù) (Pathfinder)
社區(qū)
安全情報(bào)
報(bào)告漏洞
培訓(xùn)
培訓(xùn)
瞻博網(wǎng)絡(luò)培訓(xùn)
直播課程計(jì)劃
點(diǎn)播課程
免費(fèi)培訓(xùn)
所有課程
支付選項(xiàng)
認(rèn)證
瞻博網(wǎng)絡(luò)認(rèn)證
認(rèn)證系列
認(rèn)證資源
考試注冊(cè)
再認(rèn)證
管理我的認(rèn)證
活動(dòng)和演示
活動(dòng)和理念
信息源（視頻和播客）
瞻博網(wǎng)絡(luò)峰會(huì)
所有全球活動(dòng)
演示、優(yōu)惠和試用
試用瞻博網(wǎng)絡(luò)
對(duì)話
提升社區(qū)
瞻博網(wǎng)絡(luò)威脅實(shí)驗(yàn)室
Twitter：@瞻博網(wǎng)絡(luò)
信息源
登錄
我的帳戶
訪問合作伙伴中心
編輯帳戶信息
注冊(cè)新產(chǎn)品
創(chuàng)建帳戶
退出
聯(lián)系銷售部門
立即試用
美洲
巴西 - Português
墨西哥 - Espa?ol
美國 - English
亞洲
中國 - 中文
日本 - 日本語
韓國 - ???
歐洲
法國 - Fran?ais
德國 - Deutsch
以色列 - 英語
意大利 - Italiano
荷蘭 - Nederlands
西班牙 - Espa?ol
英國 - English
研究課題
什么是可解釋的 AI (XAI)？
分享
什么是可解釋的 AI (XAI)？
什么是可解釋的 AI (XAI)？
可解釋的 AI (Explainable AI) 是方便用戶理解和信賴由 AI 機(jī)器學(xué)習(xí) (ML) 算法計(jì)算所得結(jié)果和輸出的一套過程和方法。有關(guān) AI/ML 輸出的補(bǔ)充解釋或許只面向用戶、運(yùn)維或開發(fā)人員，但這些解釋旨在解決用戶采用、管理和開發(fā)系統(tǒng)等方面的各種問題和挑戰(zhàn)。這種“可解釋性”是 AI 在市場(chǎng)上獲得信任和信心的核心，以促進(jìn) AI 的廣泛采用，并充分發(fā)揮 AI 的優(yōu)勢(shì)。其他相關(guān)的新興倡議還包括值得信賴的 AI 和負(fù)責(zé)任的 AI。
?
可解釋的 AI 是如何實(shí)現(xiàn)的？
美國國家標(biāo)準(zhǔn)與技術(shù)研究院 (NIST) 指出，推動(dòng) XAI 的四項(xiàng)原則分別為：
解釋：系統(tǒng)需要為所有輸出提供補(bǔ)充證據(jù)或理由。
意義：系統(tǒng)要為個(gè)人用戶提供可理解的解釋。
解釋準(zhǔn)確性：解釋能正確反映出系統(tǒng)生成輸出的過程。
知識(shí)限制：系統(tǒng)僅在其設(shè)計(jì)條件下或者當(dāng)其輸出達(dá)到足夠的置信水平時(shí)運(yùn)行。
NIST·指出，解釋可以是簡單的，也可以是復(fù)雜的，具體取決于相關(guān)消費(fèi)者。該機(jī)構(gòu)使用以下五個(gè)非詳盡的可解釋性示例類別，來對(duì)部分解釋類型進(jìn)行了說明：
用戶利益
社會(huì)認(rèn)可度
監(jiān)管與合規(guī)
系統(tǒng)開發(fā)
所有者利益
?
可解釋的 AI 的重要性在何？
可解釋的 AI 是在自動(dòng)化系統(tǒng)中培養(yǎng)、獲得和保持信任的關(guān)鍵因素。如果沒有信任，AI，特別是面向 IT 運(yùn)營的 AI (AIOps)，將得不到充分接受，致使現(xiàn)代系統(tǒng)的規(guī)模和復(fù)雜性超過手動(dòng)操作和傳統(tǒng)自動(dòng)化所能實(shí)現(xiàn)的程度。
而當(dāng)我們建立起信任，“AI 漂洗” (AI washing) — 指企業(yè)聲稱產(chǎn)品或服務(wù)由 AI 驅(qū)動(dòng)，但實(shí)際上根本沒有使用 AI，或只使用了極少 AI — 的做法就會(huì)原形畢露，從而幫助從業(yè)者和客戶對(duì) AI 產(chǎn)品或服務(wù)去蕪存菁。能否對(duì) AI 建立信任和信心會(huì)影響 AI 的接納范圍和速度，進(jìn)而會(huì)決定其效益實(shí)現(xiàn)的速度和范圍。
如果我們需要任何系統(tǒng) — 尤其是那些具有現(xiàn)實(shí)影響力的系統(tǒng) — 去尋求答案或作出決策，我們就必須解釋系統(tǒng)是如何得出決定、系統(tǒng)將如何影響結(jié)果，或是為什么認(rèn)為行動(dòng)是必須的。
?
可解釋的 AI 的好處
可解釋的 AI 能夠帶來多方面的好處。這些好處涉及明智決策、降低風(fēng)險(xiǎn)、增加信心和用戶接納度、優(yōu)化管理、加速系統(tǒng)改進(jìn)，以及促進(jìn) AI 在全球全面發(fā)展與應(yīng)用等。?
?
可解釋的 AI 解決了什么問題？
許多 AI 和 ML 模型被認(rèn)為是不透明的，且其輸出無法被解釋。能夠揭示和解釋遵循特定路徑的理由或產(chǎn)生輸出的過程，對(duì)于為 AI 爭取信任、幫助 AI 發(fā)展和提高 AI 接納度而言至關(guān)重要。
對(duì)數(shù)據(jù)、模型和流程進(jìn)行解釋，能夠幫助運(yùn)維人員和用戶深入了解和觀察這些系統(tǒng)，以便使用透明、有效的推理進(jìn)行優(yōu)化。最重要的是，可解釋性能夠降低有關(guān)漏洞、偏差和風(fēng)險(xiǎn)的溝通的難度，往后還能進(jìn)一步降低，甚至完全消除。
?
可解釋的 AI 如何提高透明度并建立信任
最初的原始數(shù)據(jù)要切實(shí)有用，就必須能夠最終帶來行動(dòng)建議或落實(shí)的行動(dòng)。一開始就要求用戶信任一個(gè)完全自主的工作流，往往是癡人說夢(mèng)，所以建議讓用戶自下而上逐步了解各個(gè)支持層。通過逐級(jí)深入研究事件，用戶界面 (UI) 工作流能夠幫助您層層剖析，直至挖掘到原始輸入。這有助于提高透明度和建立信任。
建立一個(gè)框架，讓領(lǐng)域?qū)＜业靡陨钊胪诰?、釋疑，讓新手得以搜索、解惑，不僅可以同時(shí)幫助初學(xué)者和老手提高生產(chǎn)力、積累知識(shí)，還能夠建立起他們對(duì) AI 的信任。這種參與形式還有助形成一種良性循環(huán)，可以進(jìn)一步訓(xùn)練和打磨 AI/ML 算法，以實(shí)現(xiàn)持續(xù)的系統(tǒng)改進(jìn)。
人工智能驅(qū)動(dòng)型用戶界面中的數(shù)據(jù)流
如何使用可解釋的 AI 來評(píng)估和降低風(fēng)險(xiǎn)
數(shù)據(jù)網(wǎng)絡(luò)擁有定義明確的協(xié)議和數(shù)據(jù)結(jié)構(gòu)，意味著 AI 可以得到令人難以置信的發(fā)展，而不用擔(dān)心存在歧視或人類偏見。當(dāng)處理諸如故障排除和服務(wù)保證等中性問題時(shí)，可以信賴并負(fù)責(zé)任地采用 AI 應(yīng)用。
讓供應(yīng)商回答若干技術(shù)和操作基礎(chǔ)問題，對(duì)于揭露和避免“AI 漂洗”而言極其重要。與任何盡職調(diào)查和采購工作一樣，答案的詳細(xì)程度可以提供重要的洞見?；卮鹂赡苄枰o以技術(shù)解釋，但我們?nèi)匀唤ㄗh供應(yīng)商提供詳盡回答，以確保供應(yīng)商的主張是切實(shí)可行的。
與任何技術(shù)一樣，工程和領(lǐng)導(dǎo)團(tuán)隊(duì)要制定標(biāo)準(zhǔn)評(píng)估擬行采購，并且相關(guān)決策要以證據(jù)為基礎(chǔ)。為了降低風(fēng)險(xiǎn)和幫助完成盡職調(diào)查，AI/ML 所有者和用戶可以提出如下示例問題：
該解決方案包含哪些算法，這些算法對(duì)解決方案又有什么作用？
輸入的數(shù)據(jù)以及數(shù)據(jù)的清理方式有哪些？
數(shù)據(jù)源自哪里（是根據(jù)租戶、帳戶還是用戶定制的）？
如何通過網(wǎng)絡(luò)空間設(shè)計(jì)參數(shù)和功能？
如何訓(xùn)練、再訓(xùn)練模型，并保持模型及時(shí)更新和相關(guān)？
系統(tǒng)本身是否能解釋其推理、建議或行動(dòng)？
如何消除或減少偏見？
解決方案或平臺(tái)是如何自動(dòng)改進(jìn)和演進(jìn)的？
此外，始終建議進(jìn)行試點(diǎn)或試驗(yàn)，以驗(yàn)證關(guān)于 AI 服務(wù)或系統(tǒng)的承諾或聲明。
?
可解釋的 AI 在瞻博網(wǎng)絡(luò)的應(yīng)用
如何負(fù)責(zé)任且合乎道德地使用 AI 是一個(gè)復(fù)雜的課題，但也是組織必須解決的問題。瞻博網(wǎng)絡(luò) Mist AI 創(chuàng)新原則指導(dǎo)我們?cè)诜?wù)和產(chǎn)品中使用 AI。我們還編寫了很多關(guān)于 AI/ML 以及我們的 AIOps 方法的文章，包括 AI 數(shù)據(jù)和初期發(fā)展歷程、解決問題的方法、界面和智能聊天程序，這些文章有助于檢測(cè)和糾正網(wǎng)絡(luò)異常問題，同時(shí)使用更先進(jìn)的工具改進(jìn)運(yùn)維。?
XAI 可以以多種形式出現(xiàn)。例如，瞻博網(wǎng)絡(luò) AIOps 的功能包括在 Wi-Fi 網(wǎng)絡(luò)中執(zhí)行自動(dòng)無線資源管理 (RRM) 和檢測(cè)問題，例如網(wǎng)絡(luò)電纜故障。Mist 產(chǎn)品界面提供了部分瞻博網(wǎng)絡(luò) XAI 工具，您可以在我們的自助服務(wù)之旅中自行演示。在此注冊(cè)，立即獲取。
對(duì)于用戶和運(yùn)維人員，請(qǐng)留意基于 Mist AI? 引擎和 Marvis 虛擬網(wǎng)絡(luò)助手的產(chǎn)品中的一系列新功能，這些功能將圍繞方法、模型、決策和置信水平展示更強(qiáng)的可解釋性，從而提高信任度和透明度。
有關(guān)可解釋的 AI 的常見問題
“可解釋的 AI”是什么意思？
可解釋的 AI (Explainable AI) 是方便用戶理解和信賴由 AI 機(jī)器學(xué)習(xí) (ML) 算法計(jì)算所得結(jié)果和輸出的一套過程和方法。有關(guān) AI/ML 輸出的補(bǔ)充解釋或許只面向用戶、運(yùn)維或開發(fā)人員，但這些解釋旨在解決用戶采用、管理和開發(fā)系統(tǒng)等方面的各種問題和挑戰(zhàn)。?
什么是可解釋的 AI 模型？
可解釋的 AI 模型擁有可提高透明度、促進(jìn)理解的特性或?qū)傩?，且具備?duì) AI 輸出提出質(zhì)疑或質(zhì)詢的能力。
可解釋的 AI 的重要性在何？
由于可解釋的 AI 能夠詳細(xì)描述 AI 系統(tǒng)輸出的基本原理，因此，它能夠幫助人們加強(qiáng)、培養(yǎng)和建立部署 AI 系統(tǒng)所必要的理解、管理能力和信任，并增加對(duì)其輸出和結(jié)果的信心。如果沒有 XAI 幫助建立信任和信心，人們就不可能廣泛部署 AI 或從 AI 技術(shù)中受益。?
可解釋的 AI 的好處有哪些？
可解釋的 AI 好處良多。這些好處涉及明智決策、降低風(fēng)險(xiǎn)、增加信心和用戶接納度、優(yōu)化管理、加速系統(tǒng)改進(jìn)，以及促進(jìn) AI 在全球全面發(fā)展與應(yīng)用等。?
可解釋的 AI 實(shí)際存在嗎？
當(dāng)然存在，但由于可解釋的 AI 的定義仍在不斷演變，其仍處于萌芽階段。雖然在擁有大量功能或階段的復(fù)雜或混合 AI/ML 模型上實(shí)現(xiàn) XAI 將面臨更大的困難，但 XAI 正積極尋找融入產(chǎn)品和服務(wù)的方法，以建立用戶信任并促進(jìn)加快發(fā)展。
什么是深度學(xué)習(xí)中的可解釋性？
深度學(xué)習(xí)有時(shí)被視為“黑箱”，這意味著人們很難理解深度學(xué)習(xí)模型的行為以及其作出決定的方式。提高可解釋性旨在為人們提供有關(guān)深度學(xué)習(xí)的解釋。目前有針對(duì)不同的解釋評(píng)估方法進(jìn)行持續(xù)研究。
瞻博網(wǎng)絡(luò)提供哪些可解釋的 AI 功能？
XAI 可以以多種形式出現(xiàn)。例如，瞻博網(wǎng)絡(luò)提供了博客和視頻資源，描述了用于多種 AIOps 功能的 ML 算法，包括在 Wi-Fi 網(wǎng)絡(luò)中執(zhí)行自動(dòng)無線資源管理 (RRM) 或故障網(wǎng)絡(luò)電纜檢測(cè)（請(qǐng)參見下面的視頻資源）。Mist 產(chǎn)品界面提供了部分 XAI 工具，您可以在我們的自助服務(wù)之旅中自行演示。在此注冊(cè)，立即獲取。
資源
解決方案
人工智能驅(qū)動(dòng)型運(yùn)維 (AIOps)
產(chǎn)品
Marvis 虛擬網(wǎng)絡(luò)助手
Mist AI 和云
視頻
RF Networks 中的 AI 和 ML：擁有強(qiáng)化學(xué)習(xí)功能的動(dòng)態(tài)無線資源管理 (RRM)
利用 Mist AI 決策樹檢測(cè)網(wǎng)絡(luò)常見故障
自然語言處理對(duì) AIOps 的影響
利用 Mist AI 交互信息，通過 SLE 指標(biāo)進(jìn)行預(yù)測(cè)
探索 Mist AI 儀表板
立即注冊(cè)，開展 Mist AI 儀表板自助之旅
相關(guān)內(nèi)容
研究課題
什么是 AIOps？
AIOps 是 Gartner 的一個(gè)術(shù)語，用于描述使用人工智能來更快做出更準(zhǔn)確的決策和改進(jìn)事件響應(yīng)的 IT 平臺(tái)和流程。
詳細(xì)閱讀
研究課題
什么是網(wǎng)絡(luò)人工智能？
了解人工智能 (AI) 可在現(xiàn)代化網(wǎng)絡(luò)中發(fā)揮哪些關(guān)鍵作用?？山忉尩?AI (Explainable AI) 是方便用戶理解和信賴由 AI 機(jī)器學(xué)習(xí) (ML) 算法計(jì)算所得結(jié)果和輸出的一套過程和方法。
詳細(xì)閱讀
返回頂部
了解瞻博網(wǎng)絡(luò)最新資訊
注冊(cè)
關(guān)注我們
關(guān)于我們
招賢納士
企業(yè)責(zé)任
投資者關(guān)系
新聞中心
圖庫
博客
社區(qū)
活動(dòng)
優(yōu)惠和試用
聯(lián)系銷售人員
查找合作伙伴
查找分銷商
合作伙伴登錄
? 1999 -?2024 Juniper Networks, Inc. 保留所有權(quán)利。
聯(lián)系我們
400-601-9118 (亞太地區(qū))
反饋
報(bào)告漏洞
站點(diǎn)地圖
隱私聲明
法律聲明
DMCA 政策
What is Explainable AI (XAI)? | IBM
What is explainable AI?
Explore IBM's explainable AI solution
Subscribe to AI Topic Updates
What is explainable AI?
Explainable artificial intelligence (XAI) is a set of processes and methods that allows human users to comprehend and trust the results and output created by machine learning algorithms.?
Explainable AI is used to describe an AI model, its expected impact and potential biases. It helps characterize model accuracy, fairness, transparency and outcomes in AI-powered decision making. Explainable AI is crucial for an organization in building trust and confidence when putting AI models into production. AI explainability also helps an organization adopt a responsible approach to AI development.
As AI becomes more advanced, humans are challenged to comprehend and retrace how the algorithm came to a result. The whole calculation process is turned into what is commonly referred to as a “black box" that is impossible to interpret. These black box models are created directly from the data. And, not even the engineers or data scientists who create the algorithm can understand or explain what exactly is happening inside them or how the AI algorithm arrived at a specific result.
There are many advantages to understanding how an AI-enabled system has led to a specific output.? Explainability can help developers ensure that the system is working as expected, it might be necessary to meet regulatory standards, or it might be important in allowing those affected by a decision to challenge or change that outcome.1
White paper
Why AI governance is a business imperative for scaling enterprise AI
Learn about barriers to AI adoptions, particularly lack of AI governance and risk management solutions.
Related content
Read the guide for data leaders
Begin your journey to AI
Learn how to scale AI
Explore the AI Academy
Why explainable AI matters
It is crucial for an organization to have a full understanding of the AI decision-making processes with model monitoring and accountability of AI and not to trust them blindly. Explainable AI can help humans understand and explain machine learning (ML) algorithms, deep learning and neural networks.
ML models are often thought of as black boxes that are impossible to interpret.2 Neural networks used in deep learning are some of the hardest for a human to understand. Bias, often based on race, gender, age or location, has been a long-standing risk in training AI models. Further, AI model performance can drift or degrade because production data differs from training data. This makes it crucial for a business to continuously monitor and manage models to promote AI explainability while measuring the business impact of using such algorithms. Explainable AI also helps promote end user trust, model auditability and productive use of AI. It also mitigates compliance, legal, security and reputational risks of production AI.
Explainable AI is one of the key requirements for implementing responsible AI, a methodology for the large-scale implementation of AI methods in real organizations with fairness, model explainability and accountability.3 To help adopt AI responsibly, organizations need to embed ethical principles into AI applications and processes by building AI systems based on trust and transparency.
Now available: watsonx.governance
Accelerate responsible, transparent and explainable workflows for generative AI built on third-party platforms
Try watsonx.governance
Learn more about AI ethics
How explainable AI works
With explainable AI – as well as interpretable machine learning – organizations can gain access to AI technology’s underlying decision-making and are empowered to make adjustments. Explainable AI can improve the user experience of a product or service by helping the end user trust that the AI is making good decisions. When do AI systems give enough confidence in the decision that you can trust it, and how can the AI system correct errors that arise??
As AI becomes more advanced, ML processes still need to be understood and controlled to ensure AI model results are accurate. Let’s look at the difference between AI and XAI, the methods and techniques used to turn AI to XAI, and the difference between interpreting and explaining AI processes.
Comparing AI and XAI
What exactly is the difference between “regular” AI and explainable AI? XAI implements specific techniques and methods to ensure that each decision made during the ML process can be traced and explained. AI, on the other hand, often arrives at a result using an ML algorithm, but the architects of the AI systems do not fully understand how the algorithm reached that result. This makes it hard to check for accuracy and leads to loss of control, accountability and auditability.
Explainable AI techniques
The setup of XAI techniques consists of three main methods. Prediction accuracy and traceability address technology requirements while decision understanding addresses human needs. Explainable AI — especially explainable machine learning — will be essential if future warfighters are to understand, appropriately trust, and effectively manage an emerging generation of artificially intelligent machine partners.?
Prediction accuracy
Accuracy is a key component of how successful the use of AI is in everyday operation. By running simulations and comparing XAI output to the results in the training data set, the prediction accuracy can be determined. The most popular technique used for this is Local Interpretable Model-Agnostic Explanations (LIME), which explains the prediction of classifiers by the ML algorithm.
Traceability
Traceability is another key technique for accomplishing XAI. This is achieved, for example, by limiting the way decisions can be made and setting up a narrower scope for ML rules and features. An example of a traceability XAI technique is DeepLIFT (Deep Learning Important FeaTures), which compares the activation of each neuron to its reference neuron and shows a traceable link between each activated neuron and even shows dependencies between them.
Decision understanding
This is the human factor. Many people have a distrust in AI, yet to work with it efficiently, they need to learn to trust it. This is accomplished by educating the team working with the AI so they can understand how and why the AI makes decisions.
Explainability versus interpretability in AI
Interpretability is the degree to which an observer can understand the cause of a decision. It is the success rate that humans can predict for the result of an AI output, while explainability goes a step further and looks at how the AI arrived at the result.
How does explainable AI relate to responsible AI?
Explainable AI and responsible AI have similar objectives, yet different approaches. Here are the main differences between explainable and responsible AI:
Explainable AI looks at AI results after the results are computed.
Responsible AI looks at AI during the planning stages to make the AI algorithm responsible before the results are computed.
Explainable and responsible AI can work together to make better AI.
Continuous model evaluation
With explainable AI, a business can troubleshoot and improve model performance while helping stakeholders understand the behaviors of AI models. Investigating model behaviors through tracking model insights on deployment status, fairness, quality and drift is essential to scaling AI.
Continuous model evaluation empowers a business to compare model predictions, quantify model risk and optimize model performance. Displaying positive and negative values in model behaviors with data used to generate explanation speeds model evaluations. A data and AI platform can generate feature attributions for model predictions and empower teams to visually investigate model behavior with interactive charts and exportable documents.
Benefits of explainable AI
Operationalize AI with trust and confidence
Build trust in production AI. Rapidly bring your AI models to production. Ensure interpretability and explainability of AI models. Simplify the process of model evaluation while increasing model transparency and traceability.
Speed time to AI results
Systematically monitor and manage models to optimize business outcomes. Continually evaluate and improve model performance. Fine-tune model development efforts based on continuous evaluation.
Mitigate risk and cost of model governance
Keep your AI models explainable and transparent. Manage regulatory, compliance, risk and other requirements. Minimize overhead of manual inspection and costly errors. Mitigate risk of unintended bias.
Five considerations for explainable AI
To drive desirable outcomes with explainable AI, consider the following.
Fairness and debiasing:?Manage and monitor fairness. Scan your deployment for potential biases.?
Model drift mitigation:?Analyze your model and make recommendations based on the most logical outcome. Alert when models deviate from the intended outcomes.
Model risk management:?Quantify and mitigate model risk. Get alerted when a model performs inadequately. Understand what happened when deviations persist.
Lifecycle automation:?Build, run and manage models as part of integrated data and AI services. Unify the tools and processes on a platform to monitor models and share outcomes. Explain the dependencies of machine learning models.
Multicloud-ready:?Deploy AI projects across hybrid clouds including public clouds, private clouds and on premises. Promote trust and confidence with explainable AI.
Use cases for explainable AI
Healthcare: Accelerate diagnostics, image analysis, resource optimization and medical diagnosis. Improve transparency and traceability in decision-making for patient care. Streamline the pharmaceutical approval process with explainable AI.
Financial services: Improve customer experiences with a transparent loan and credit approval process. Speed credit risk, wealth management and financial crime risk assessments. Accelerate resolution of potential complaints and issues. Increase confidence in pricing, product recommendations and investment services.
Criminal justice: Optimize processes for prediction and risk assessment. Accelerate resolutions using explainable AI on DNA analysis, prison population analysis and crime forecasting. Detect potential biases in training data and algorithms.
Related solutions?
watsonx.governance
IBM? watsonx.governance? toolkit for AI governance allows you to direct, manage and monitor your organization’s AI activities, and employs software automation to strengthen your ability to mitigate risk, manage regulatory requirements and address ethical concerns for both generative AI and machine learning models.
Learn about watsonx.governance
IBM Cloud Pak? for Data
Modernize to automate the AI lifecycle. Add governance and security to data and AI services almost anywhere.
Learn more
IBM Watson? Studio
Build and scale AI with trust and transparency. Build, run and manage AI models with constant monitoring for explainable AI.
Learn more
IBM Knowledge Catalog
Govern data and AI models with an end-to-end data catalog backed by active metadata and policy management.
Learn more
Resources
Guide
The urgency of AI governance
Read about a three-step approach to AI governance. Discover insights on how to build governance systems capable of monitoring ethical AI.
Read the guide
Tutorial
Prepare models for monitoring
Learn how to set up and enable model monitors. Use a credit risk sample model to select deployment and set the data type for payload logging.
Begin tutorial
Analyst report
Explore the value of explainable AI
Forrester Consulting examines the projected return on investment for enterprises that deploy explainable AI and model monitoring.
Read the study
Case study
Scale AI with trust and transparency
Lufthansa improves the customer experience and airline efficiency with AI lifecycle automation and drift and bias mitigation.
Read the case study
Take the next step
Accelerate responsible, transparent and explainable AI workflows across the lifecycle for both generative and machine learning models. Direct, manage, and monitor your organization’s AI activities to better manage growing AI regulations and detect and mitigate risk.
Explore watsonx.governance
Book a live demo
Footnotes
1 ”Explainable AI” (link resides outside ibm.com), The Royal Society, 28 November 2019.
2 ”Explainable Artificial Intelligence” (link resides outside ibm.com), Jaime Zornoza, 15 April 2020.
3 ”Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI” (link resides outside ibm.com), ScienceDirect, June 2020.?
? ”Understanding Explainable AI” (link resides outside ibm.com), Ron Schmelzer, Forbes contributor, 23 July 2019.
? ”Explainable Artificial Intelligence (XAI)” (link resides outside ibm.com), Dr. Matt Turek, The U.S. Defense Advanced Research Projects Agency (DARPA).?
比特派官網(wǎng)錢包下載 提供一種安全、無縫的方式來管理您的數(shù)字資產(chǎn)。專注于用戶體驗(yàn)和頂級(jí)安全性，比特派官網(wǎng)錢包下載 確保您的加密貨幣安全存儲(chǔ)和交易。享受多資產(chǎn)支持和為初學(xué)者和高級(jí)用戶設(shè)計(jì)的流暢界面。
隨時(shí)了解 比特派官網(wǎng)錢包下載 的最新功能和更新。訂閱我們的簡報(bào)，獲取獨(dú)家優(yōu)惠和新聞。