人工智能黑箱问题解决方法

❶ 魔鬼人工智能诺曼，能反向驯化成天使人工智能吗

去年年中，麻省理工学院媒体实验室（The MIT Media Lab）的一个三人团队，联手创造了世界上第一个恶魔人工智能——诺曼（Norman）。

诺曼本身是一个简单的人工智能，把图像输入给他，他就会输出一段自己对这个图像的描述文字。跟普通人工智能一样，诺曼需要训练，而诺曼的整个训练过程，使用的都是来源于网络上充满消极情绪的图片和文字描述，最终导致诺曼在对图像进行判断的时候，所输出的描述文字，都是消极的。

“诺曼”这个名字本身，就来源于希区柯克的经典电影《惊魂记》中的变态旅馆老板诺曼贝兹。

诺曼起初是为了研究精神病疗算法，通过这种疗法研究精神病的治愈方式。但是但是进一步的 研究已经超越了这个范畴。更多的人开始思考人工智能的偏见。

现实生活中的AI若受到有缺陷数据的训练，它们可能产生类似负面状况，也就是产生偏见。

去年5月，美国法院用于评估囚犯风险的AI，被指出对黑人囚犯有偏见。微软2016年发布的聊天AI，很快就被种族主义者带坏，开始捍卫某些人种至上主义，呼吁种族灭绝并表达出对希特勒的热爱。

从偏见产生的根源看，其实只要是经过人筛选的数据本身就带有人的主观性，同时也很难把一个范畴内所有客观情况都输入给人工智能，所以进入到人工智能的数据，本身就是主观的。事实上也很难把两个人为的观念完全区分开来。所以偏见其实是客观存在的，很难根除，假设我们接受人工智能的偏见，那我们怎么解决人工智能的偏见？

诺曼的研究人员给出了一个想法：希望更多的人，对诺曼的积极训练改变它的魔鬼思想，驯化为天使的思想。

从人工智能可以训练的角度来看，人工智能是肯定可以被训练的，但是它的魔鬼的部分，还是有可能会重新显现出来。原因，就是它经过了1万次的魔鬼训练，再经过一千万次天使训练之后，它可能还是有残留魔鬼的思想。

由于训练本身是一个黑箱，我们其实没法直接判断这个黑箱里面全部信息到底还有没有魔鬼的部分。

阻断疗法：

最简单，最直接的方法，就是放弃这个人工智能，不再使用这个人工智能，就好像判了一个人工智能死刑。彻底清空并重新训练人工智能。

为什么是放弃整个人工智能？我们知道，由于人工智能是一个黑箱，人工智能其实是一个独立的智能，一个完整的人工智能，我们没法分隔它所知道的知识。

但是当这个人工智能本身，存在一些有价值的判断的时候呢？直接清除掉，就把有价值的部分也清除掉了，可能不是最好的办法。

反观我们人类世界，人类面对一个恶魔，法律的最高惩罚，其实就是清除他。而这个法律的依据，就是人类自古就有的一报还一报思想。

疏通疗法：

指尖科技说编者这个时候，想起两个人：裘千仞和弗兰克

《神雕侠侣》中的裘千仞心机算尽，被认为是小人和险恶的代表，但是在他抱着宿敌的婴儿小郭襄的时候，本来可以一掌报仇，却在被黄蓉设计偷走小郭襄后，一刻顿悟，从此皈依佛门。如果觉得这个例子，只是小说，那我们看看真实的案例。

弗兰克·阿巴内尔就是真实案例，他16岁就开始伪造银行支票，骗取多国银行的250万美元并被多国通缉，他假扮老师给学生上课，假扮医生给病人开药、假扮飞行员与空姐谈恋爱。入狱后在狱中协助破案，最终出狱后和美国政府机关合作，成就了一个着名的安全顾问公司。

裘千仞的顿悟，滔天局骗的改过自新，都说明人类意识的改变，可以让人刷新整个意识体系。

这其中有一个非常关键的因素：人类的大脑，可以同时存在两种相互矛盾的思想，而无碍于其处世行事。

这正是心理学家托利得提出的托利得定理。

于是我们可以尝试思考：人工智能可以同时存在两种完全矛盾的思想，并仍然无碍于其处世行事吗？

指尖科技说我现在只能想到一种实现方案：就是给人工智能一个高级的控制机制。

在人工智能的高一个层次，进行控制。我也认为只有这种方法，才能彻底解决人工智能倾向性问题。

而现阶段，人工智能技术并非不能做到， 就是在人工智能基础上多做一层人工智能道德筛选 。

例如诺曼得到了恶魔的思想，我们却在后面一层进一步分析诺曼得到的结果，是否合适人类意志，如果具有明显的倾向性，我们就排除掉。

但指尖科技说我也承认，这并非最好的解决方案。最好的解决方案肯定是在人工智能黑箱里直接进行高一级的控制，这样是最高效的。

假设人工智能偏见这个问题解决了，我们就不用再害怕我们给到人工智能的是有偏见的数据。甚至可以把这个技术运用到人类身上，使用脑机接口判断人类思想，然后进行进一步控制。从而让一些罪犯，从大脑思想上改变自身，而不仅是肉体上的清除。

❷ 人工智能在地震勘探中的应用新进展

随着信息化时代到来，地震勘探正向着智能化方向发展。各个企业、科研院在地震勘探研究和应用中，都加大了对人工智能技术（AI）地使用，通过智能化手段提高了勘探的效率和精度，取得了地球物理资源开发利用更大的成就。

为了更好的研究和开发我们生存的家园——地球，产生了一门用物理测量和数学研究的学科，这就是地球物理学。地球物理学中通过地质样本进行直接研究的方法，称为地探。另外一种通过仪器进行地球观测的方法，称为物探。在物探方法中，包括了重力、磁法、电法、地震、放射性等多种方法。其中勘探石油天然气资源最有效的方法就是地震勘探。

地震勘探是用地下岩石弹性差异来进行地球物理勘测的方法，通过激发人工地震，研究地震波在地下传播的规律，以查明地下地质的构造。

在国际国内地震勘探领域，随着AI技术飞速发展，大量AI+地震勘探的研究成果不断涌现。根据SEG最近几年对AI技术研究成果地统计，深度学习方法已经成为主流。其中卷积神经网络模型（CNN）的研究最多，占比60%以上，生成对抗网络模型（GAN）占比10%左右，循环神经网络模型（RNN）占比10%左右。其余的研究方法还包括机器学习的算法，如随机森林、字典学习等等。很多论文还会结合多种方法联合使用，达到更好的应用效果。

从应用领域来看，热门的研究领域包括了数据预处理、构造解释、储层识别等领域。

1.数据预处理

数据预处理主要是实现地震道集的优化，包括了噪声压制、分辨率提高、缺失道恢复等。

有学者提出了深度残差网络、自编码卷积神经网络、深度卷积神经网络等进行了随机噪声压制。

还有学者通过建立多尺度信息相互弥补的网络模型，实现了地震信号的分辨率提高。

2.构造解释

在构造解释领域的典型应用包括了断层识别、地层识别、边界圈定等方向。

在断层识别方向，伍新明等教授的团队取得了较好的成果。主要成果包括了：一是通过机器算法生成大量人工合成的地震断层训练标签。二是通过机器学习算法检测断层概率、断层倾角等属性信息。三是改进了神经网络算法，实现了精细化的断层识别。

在层位解释方向，有学者通过自编码的卷积神经网络模型，通过半监督的检测方法，实现了地震体层位的自动拾取。

3.储层预测

在地层解释方向，有学者采用无监督学习地震特征和有监督学习标注地层相结合方式，训练了神经网络模型，在实际资料处理中取得了较好的效果。

地震相预测是储层预测的一个热门方向，其中主要方法是波形分类法。波形分类法是近年来机器学习在地球物理应用中的成熟方法，使用的模型包括了卷积神经网络（ CNN）、循环神经网络（ RNN）、概率神经网络（ PNN）、深度神经网络（ DNN）、 自编码器网络（ AE）、生成对抗网络（ GAN）、 K 近邻聚类（ KNN）等。

波形分类法的主要原理是抽取地震剖面数据学习地震属性特征，再对地震属性进行聚类实现波形分类，最后对目标工区进行地震相的预测。现在也有使用深度神经网络模型（DNN、CNN、RNN、GAN等）直接进行波形特征学习，并应用于地震相分类的。

比如有学者使用卷积神经网络学习了波形特征，进行了河道、河滩等地震相分类。

地震反演是储层预测中的一项重要工作，在这个领域涵盖了反射系统反演、弹性参数反演、物性参数反演、工程参数反演、岩石参数反演、全波形反演、地震初至旅行反演等众多研究方向，采用的方法包括了机器学习和深度学习各类流行的算法模型。

比如有学者采用级联和卷积神经网络在时间域角度反演了岩石物理参数，包括纵横波速度、密度、孔隙度、含水饱和度等。

岩石物理分析是储层预测中比较直接研究地质构造的一类方法，研究方向包括了对测井曲线预测和进行数字岩心的预测。

有学者运用三维卷积神经网络，通过扫描岩石标本图像预计孔隙度和弹性参数，应用于砂岩切片预测。

虽然人工智能技术带来了很多革命性的变化，但是在应用过程中仍然存在一些局限性：

1.数据缺乏统一性

目前地震勘探得到的数据类型众多，数据量也很大。但是没有建立一套标准的数据接口，缺乏数据统一管理的模式，造成人工智能模型的数据输入存在限制，无法自动化、规模化的训练模型，无法对网络模型进行持续的改进。

2.模型处理过程可视化问题

网络模型存在黑箱问题，处理过程中的结果无法供研究人员掌握。还需要考虑将智能模型计算结果与地震勘探软件进行叠加使用，满足复杂图层、多次分析要求。

3.高维度复杂数据处理问题

目前的人工智能模型对一维数字、二维图片等数据处理比较成熟。但是对三维以上的数据处理能力尚不成熟。在地震勘探工程中，存在大量的多维数据，比如地震数据体、油气存储属性数据等。一方面高维度数据造成模型构造复杂度上升，另一方面大规模数据量也会造成数据处理时间成指数倍上升。人工智能的数据处理难题，影响了地震勘探的精细化应用分析。

4.面对不同场景的适用性问题

人工智能模型种类众多，在解决不同地震勘探场景时具有多解性。当使用不同的训练集数据，应用于不同的实际场景，可能会出现不同的实际效果。确立一套科学的场景应用模型设计，实现在特定训练场景和应用场景中得到稳定的效果输出，这是未来研究者需要努力的方向。

相关阅读：

如何在地震勘探研究更上一层楼？带你一起深度学习识别断层

怎样轻松入门地震勘探研究：先从地震数据处理开始

深度学习地震去噪实战：教你如何从0开启地震深度学习科研之路

❸ 什么叫“黑箱实验”

什么是黑箱
古往今来，人类在探索物质世界的过程中，总会遇到一些内部结构尚不清楚的系统，在控制论中，把这样的系统叫做黑箱。对某一未知系统（即黑箱）通过实验和推理来研究其内部结构的问题，一般称之为黑箱问题。
黑箱的作用
在物理教学中，黑箱及黑箱问题不仅能激发学生对物理学习的浓厚兴趣，而且黑箱问题的分析和解决还能培养学生的逻辑判断能力。推理能力、创造能力和应用物理知识解决实际问题的能力，所以在中学物理教学中应广泛推广这种黑箱及黑箱方法
黑箱的分类
黑箱的分类，
从物理学内容的角度来看，一般可以把黑箱分为力学黑箱、光学黑箱和电学黑箱、声学黑箱等几种，其中又以光学黑箱和电学黑箱较为常见；从教学功能上来说，黑箱又可以分为导入新课类黑箱、帮助建立概念、规律类黑箱、巩固复习类黑箱及实验训练类黑箱等。黑箱的分类不是绝对的，从不同的角度去看有着不同的分类方法。
黑箱问题的解决方法
黑箱是一种未知系统，
在探索其内部结构时往往不能将其打开而成为“白箱”，因此，通常采用这样的方法来解决：给黑箱输人某一或某几个信号（如光学信号、电学信号、力学信号等），观察其输出信号，然后进行推理，最终得出黑箱的内部结构。由于是通过逻辑推理的，所以最终结果有可能并不是唯一的，这就可以大大促进学生进行发散性思维，使思维得到发展。

❹ AI也有偏见，我们该如何信任它们

1970年，爱德华·肖特利夫（Edward H. Shortliffe）在斯坦福大学的实验室里开始着手编写一个Lisp程序。这个名为MYCIN的系统通过一系列的是非问题帮助医生判断病人是否患有遗传性血液疾病，并根据病人体重建议抗生素用量。作为历史上最早的专家系统之一，MYCIN的正确率仅为65%，相较血液科医师80%的正确率相去甚远，而且由于程序过于庞大，最终也没有投入使用。

无独有偶，2015年，有用户发现谷歌的图像识别系统将自己的黑人朋友标记为“大猩猩”，在推特上引起轩然大波。直到2018年，谷歌仍然没有完全修复这一漏洞，只是将灵长类的标签从系统中移除，并称“图像识别技术还不成熟”。同样是2015年，纽约西奈山医院用70万病人的数据训练了一个名为“深度病人”的深度神经网络，用以辅助医疗诊断。“深度病人”对精神分裂症的预测出乎意料地准确，但没有医生知道为什么，自然也无法应用于自己的临床诊断；当它被用于分析医院以外的X光片时，系统正确率莫名出现了大幅下降。

“数据不会说谎。”但这绝不意味着我们不需要仔细审视它们，或是给予基于数据之上的AI系统无条件的信任。肖特利夫的MYCIN系统本质上是一个决策树，属于“透明”的模型——我们可以画出从数据输入开始完整的决策过程，从而评估MYCIN的决定。深度神经网络的性能远远优于决策树，但它是一个“黑箱”——我们几乎不可能确切地知道它在算什么。性能与可解释性似乎此消彼长。

对一位只追求正确率和性能的算法工程师来说，黑箱AI未必不受待见：一个能够准确预测95%的事件的黑箱系统，肯定比另一个正确率只有65%、更透明的系统好。可是，当工程师需要调整系统内部“零件”的时候（比如修复谷歌图像识别系统），黑箱会让这项任务无比艰难：到底是哪一步出错了？是用于训练的数据有问题，还是模型本身的性能不足，或是损失函数（loss function）有待改进？置身黑箱之外的工程师很难一针见血地指出病灶。

我们中的大多数人也许极少有机会成为工程师、法官、医生，但这不妨碍黑箱AI对我们的生活造成影响。与我们的一厢情愿相反，不够透明的AI系统非但没有比人类更客观、公正、精确，反而加深了既存的偏见和不公正，对数字民主和基本人权构成威胁，而对这些系统的控制、介入和审计也更为困难。当我们无法解读AI作出的决策，对它未来的预期不过是纸上谈兵，信任也无从谈起。

可解释AI（Explainable AI，即XAI）想要解决的正是这类问题。XAI认为，通过解释AI系统的决策过程，人类能够更好地理解它的机制、优缺点、潜在影响等特性，从而更有效地预测系统的行为，达到逐步建立信任关系的效果。如果AI革命不可避免，至少一个可被解释的系统能够更好地融入崭新的算法社会契约——例如伊亚德·拉万（Iyad Rahwan）提出的社会回环（Society-in-the-loop）——与人类共生存，而不必成为敌对的关系。

我需要一个解释

可解释AI终究是为人服务的（好比高阶编程语言是为了人类设计的，否则机器之间的“交流”大可以用机器编码之类人类无法轻易读写的“语言”）。所以“解释性”也是相对人而言的。关于黑箱AI系统，什么样的解释才是好的解释？心理学家和哲学家早就开始分头研究，但各执一词。

解释常常需要阐述特定的因果关系或因果模式，例如“我不吃杏仁，因为我对坚果过敏”。这样的解释非常贴切（没有转移话题），直接明了（不存在循环论证），逻辑严密。有的现象却很难用通俗的因果关系解释——请试着回答，“我掷了一次骰子，为什么朝上的一面是3？”当然，你可以引用物理法则来解释掷骰子的具体过程，但我可能一头雾水。为了避免这样的尴尬，你也许会提及相关的（非因果的）概念，比如“随机性”，或是用类比等手法让你的解释更容易被听众接受（比如上一段的第一句话）。一般而言，因果关系在解释中占据不可动摇的地位，但不是唯一的手段。

既然解释本身可以有各种形式，为了筛选出最好的可解释AI，我们为什么不直接问：你理解这个系统在做什么吗？相关的心理学研究也的确使用了类似的方法来推断人们是否能够通过描述性解释理解某一概念。它们发现，客观上，当受试者对某一概念有更好的理解时，他们能通过主观的直觉感觉到自己的认知进步，好比“茅塞顿开”。

然而，耶鲁大学的列昂尼德·罗森布里特（Leonid Rozenblit）和弗兰克·凯尔（Frank Keil）提出的“解释深度的错觉”（Illusion of Explanatory Depth）仿佛当头一棒。罗森布里特和凯尔让受试者首先评价自己对某一工具（比如拉链）的理解，然后详细地解释这个工具的工作机制，并再次评价自己的对它的理解。他们发现，相比一开始，试图解释后的受试者对自己理解的评价明显下滑，仿佛突然意识到自己其实一知半解。这就是“解释深度的错觉”。这种错觉影响着所有人（包括小孩子），并且只作用于解释性的知识。完全相反的情况也不少见：人们会自称不理解一个动力系统，却能熟练地使用它。

另一方面，规范（normative）解释在哲学（尤其是科学哲学）中发扬光大。规范解释有意忽略个人因素，比如认知能力，而是关注“应有”的理解。因此，规范理解可以被视为一种基准，用来分析哪些信息应当被包含在解释里，以及受众会有何种程度的理解。更进一步地说，好的（规范）解释应当从理解的目的出发，基于受众与黑箱AI的关系给出不同的解释。显然，修补系统漏洞的工程师和审核系统公正性的法官所需的理解是不同的。我们可以合理假设前者具有足够的技术知识背景，也许将计算模型可视化就提供了足够好的解释。后者需要的是更抽象的文字解释，比如“其他条件不变，COMPAS系统预测黑人被告和白人被告被再次逮捕的概率不同。”两种都是好的（规范）解释，一旦互换却可能成为各自的鸡肋。

规范解释看似更加直截了当，但在实际应用中还没有确切实现或评估的共识。描述性解释似乎也不甚完美。时至今日，我们仍未整合描述性解释和规范解释，关于解释的研究和可解释AI还在齐头并进。

有了可解释的AI就万事大吉吗？

2017年开始，美国国防高级研究计划署（DARPA）投资了一系列XAI的项目，包括UCLA的VCLA中心的研究项目。2018年，ACM主办了第一届FAT*会议，关注AI系统的公正性、问责制和透明度。同年，AAAI与ACM共同举办第一届AIES（人工智能、伦理与社会）会议。谷歌、微软等科技公司也陆续参与XAI的研发。各界对于XAI的关注促成了许多“拆穿”黑箱AI的尝试，从DeepMind提出的机器心智理论（Machine Theory of Mind），到将黑箱神经网络转化为“透明”的布尔电路（Boolean circuit），再到LIME（Local Interpretable Model-Agnostic Explanation）等通过近似黑箱模型提取重要特征的方法。虽然XAI目前解释的对象主要是工程师等研发人员，但是在未来，我们将会看到更多面向大众的XAI，比如向你解释如何开药瓶的Baxter。

XAI并不是终点；它最多算一个起点，而我们还有许多亟待解决的问题。首先，对黑箱AI的解释可以被悄无声息地篡改，可以完全牛头不对马嘴，而且很难察觉。哈佛大学的希玛宾度·拉卡拉朱（Himabin Lakkaraju）和她的学生们发现，只需在模型上动一些简单的手脚，就能让它滥用COMPAS数据集里的种族信息决定量刑，但一旦LIME来“视察”，它立刻摆出无辜的嘴脸，完全不露馅。这就意味着，即使有XAI为工具，我们对AI的信任也不应当盲目地依赖系统的可靠性和（表面上）信息的透明性，理智与批判性思考将格外重要。

其次，针对AI的条例的制定相对滞后于研发和应用。XAI的出现将会让这个问题更加复杂——由于黑箱AI难以捉摸，且只有少数人具备解读/修改的能力，研发机构不必过分担心自己的科研成果泄漏（除非算法模型被一锅端）。如果面向用户和公众的解释成为需求、甚至必须，既有的AI系统——无论透明与否——都有可能面临一系列的风险，包括知识产权（利用反向工程重建系统）和系统安全（恶意的对抗攻击）。信任与保密两者的张力之下，XAI应当提供的解释的具体内容尚无定论。

再者，偏见和不公不会因为解释本身而消失；恰恰相反，解释会暴露更多一直以来潜行在我们周围的伦理问题。ProPublica对COMPAS的调查使人不禁发出疑问：系统性的种族偏见究竟在何种程度上渗透了美国过去十年间的量刑？随着XAI的进步，一个个黑箱AI的庐山真面目逐渐显露在我们眼前，不难想象其中有像COMPAS一样的“帮凶”。我们能否通过公开讨论解决结构性问题、完善问责制，这将是对AI和人类社会共同的挑战。

❺ 算法黑箱为何难治理

算法黑箱半月谈。随着大数据、人工智能等信息技术的快速发展,我们正在进入算法经济时代，以深度学习为代表的人工智能算法在互联网信息传播，数字经济发展。

信息产业服务等诸多方面发挥了重要作用，产生了溢出性极强的经济效益监管信任危机的根源在于企业在数据和算法上的非对称优势，当前，基础数据的所有权和控制权主要集中在互联网平台企业。

简介：

这些企业全程操纵算法设计，运行，测试和分析，由此占据着优势地位，监管部门在算法社会中已经呈现出被边缘化的趋势，极易失去对关键数据和关键算法的监督权和控制权，这意味着，算法黑箱的存在势必导致私人利益主观上俘获公共利益。

以及资本主观上规避公权力约束等风险的产生，同时，算法黑箱客观上隐藏了算法自身存在的缺陷，并可能触发安全风险，让监管机构难以审查算法信息，监管机构规制算法的内容与手段均受到限制，难以及时针对算法问题进行问责和纠偏。

❻ 可解释AI，如何打开算法的黑箱

随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和 社会 发展都纷纷迎来了变革性的机遇。但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日 14日，“腾讯 科技 向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》，随后由专家学者（见文末）共同参与了圆桌讨论。以下为整理文章：

可解释AI的概念共识

姚新：

大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。

首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。

吴保元：

可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。

基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。

可解释AI的价值何在？

朱菁：

人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：

第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。

第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI，如果 社会 大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔：

在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了 社会 运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及 社会 对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。

可解释AI的挑战何在？

姚新：

原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。

吴保元：

针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。

另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。

何凤翔：

在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。

可解释AI如何实现？

朱菁：

前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于 社会 公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向 社会 做一些说明和认定。

姚新：

深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。

吴保元：

我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。

可解释AI的技术现状？

郑冶枫：

总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的 探索 。

深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个 探索 ，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。

我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

杨强：

我们在审视各个算法和它对应的可解释性的关联问题上，发现一个有趣的现象，比方说在机器学习里面，深度学习就是属于效率非常高的，但是它却对应的可解释性很差。同样，线性模型没有那么高，但是它的可解释性相对强一些，树状模型也是，因果模型更是这样。所以往往我们确实得做一个取舍，就是我们在可解释这个维度和高效率这个维度，在这个空间里面选择哪一个点，现在并没有在两个维度都高的这样一个算法。

可解释AI的行业实践

郑冶枫：

各行业对可解释性和透明性的要求不同，我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。

此外，我们的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，因为你不能一边做实验一边改代码，这就失去了临床试验的意义。

所以医疗AI的监管是非常强的，药监局需要我们披露很多信息，提高医疗AI产品的透明性，它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事情，监管也可以理解这个解释性差一点，正因为解释性差，要求的透明性就越高。

何凤翔：

我觉得提供AI系统的说明书有两个路径：第一个路径从生成AI系统的过程出发。这一点现在有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解，这也像刚才郑老师提到，申请医疗相关的资质的时候，我们需要把生产细节汇报给相关机构。

第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标、找到一些评测算法，把这些指标作为AI系统的使用说明书。

可解释AI的未来发展

杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同解决我们要解决问题的前提下，会越来越成熟。我是非常看好这个领域的。

朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学， 科技 哲学。在 科技 哲学，实际上对于解释有将近一百年的积累和 探索 ，这里面应该有很多可以发掘借鉴的资源，参与到目前这样一个很有意思很有挑战性的话题里面。

何凤翔：AI本身是一个跨学科领域，它可能会用到很多数学、统计、物理、计算机等各个知识的领域，今天提到的很多点，包括隐私保护、公平性，很多也是来源于人文学科、法律、 社会 学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情，会非常需要大家的通力合作，共同推进这个领域的发展。

姚新：对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底我们要解决透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个系统的开发者来说？我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。

郑冶枫：对算法人员来说，当然我们希望将来科学家们找到非常好的，具有良好可解释性，同时准确性非常高的算法，真正做到鱼和熊掌兼得。