许可 朱悦 | 算法解释权：科技与法律的双重视角

　　作者

　　对外经济贸易大学 许可

　　圣路易斯华盛顿大学 朱悦

　　摘要

　　算法社会的来临，使得算法失灵、算法歧视、算法欺诈、算法垄断成为人类社会的重要威胁。在诸多制度因应中，算法解释权是落实算法问责，实现算法公正的基础性权利。然而，自欧盟《一般数据保护条例》提出该权利以来，其一直遭至各种质疑，在实践中亦被边缘化。算法解释权只有从“实用主义解释理论”出发，采纳“黑盒之内解释”的技术方案，明确解释权之主体、对象与范围，充实解释的层次内涵，才能弥合理想与现实、法律与科技之间的鸿沟，构造出兼具法律理性与技术操作性的算法解释权制度。

　　原文刊发于《苏州大学学报》2020年第2期，为便于阅读，注释已删除。

　　导论：算法因何需要解释？

　　作为在“有限的时间内一步步完成某个任务的过程”，算法并不神秘。千百年来，人们一直使用着算法：巴比伦人处理法律事务时会用到算法，拉丁语老师检查语法时会用到算法，医生预测病情时会用到算法，中国《易经》更是可以“预测”未来的终结算法。可只有在大数据、人工智能、云计算等崭新的信息技术爆发的当代，算法才得以脱胎换骨，成为支配社会、乃至人类自身的权力。在这个“算法社会”中，算法为我们规划道路，为我们筛选搜索结果；为我们做手术；为我们推荐雇主；为我们选择朋友；为我们吟诗作乐；甚至还能为我们打出社会信用分值。在某种意义上，算法决定了我们是谁，我们看到什么，以及我们如何思考。

　　然而，正如人类并非完美一样，算法也绝非完美无缺。它可能出错，甚至还可能存在“恶意”。美国马萨诸塞州的居民John Gass便深受其害。联邦调查局的反恐识别系统将他误认为是另一位司机，并吊销了他的驾驶执照，于是，他不得不费时费力，让当局相信他不是那名司机。其实，John Cass已经非常幸运。在美国，每周超过1000人被机场使用的算法错误地标记为恐怖分子。一名美国航空公司的飞行员在一年中被拘留了80次，因为他的名字与爱尔兰共和军领导人的名字相似。这还不算是最糟糕的。算法依赖于大数据，而大数据并非中立。它们从真实社会中抽取，必然带有社会固有的不平等、排斥性的痕迹。例如，为了在Twitter上与千禧一代进行对话，微软开发了Tay聊天机器人，它旨在学习如何通过复制网民的语音来模仿他人。可仅仅在试用24小时后，它就被引入歧途，成为支持种族灭绝的反女权主义纳粹分子，以至于发出了“希特勒无罪”的消息。

　　无独有偶，在新冠疫情期间，为实现有效隔离病患和保障人员正常流通的双重目标，数字化的健康评估证明——“健康码”功不可没。在申请健康码时，民众通常需要在手机上注册并提供自身的实名信息，验证用户身份之后，填写自己的体温和接触史等健康信息，并结合权威数据平台查询用户的行踪记录和人际关系，最终经由算法生成属于个人的二维码。尽管开发者已经给出了算法判断的空间、时间、人际关系、健康状况等四个维度的标准，但由于健康码关系个人自由甚巨，网络上“我的绿码为什么变成了黄码？”“温州返杭的给绿码，我诸暨的给红码？”“一家三口情况一样，一更新就我变红码？”“长期居家，却为红码？”的质疑仍频频出现。实践中，民众要求行政机关和开发者更正的投诉亦不鲜见。

　　算法失灵、算法歧视、算法欺诈、算法垄断等威胁引发了算法可责的呼吁。算法可责的前提是算法可知，而算法可知的有力工具便是算法可解释。为此，欧盟议会智库2019年发布《算法决策：机遇与挑战》报告，将“可解释性”视为算法决策系统中的关键议题。在全球范围内影响深远的《伯克利对人工智能面临挑战的系统性观点》，亦将“可解释性”视为人工智能算法“适时、稳健、安全”的核心要素。人们日益相信：“对即将到来的、人工智能协作的世代，如果希冀理解这一世代，希冀恰当地信任这一世代，希冀有效地管理这一世代，可解释的人工智能将至关重要”。基于此，法律上的“算法解释权”浮出水面。2018年，欧盟《一般数据保护条例》（GDPR）以1995年欧盟《数据保护指令》中“获知算法内部逻辑的权利”为蓝本，在“鉴于”部分第71条和正文第22条针对基于算法的“自动化决策”，赋予个人干预的权利，允许其表达其观点，在评估后获得该决策的解释，以及对决策提出质疑。受此影响，法国《数字共和国法》（French loi pour uneR?l’publiquenum?l’rique）规定，个人受到基于算法的行政决定时，有权要求行政机关提供算法相关信息，包括但不限于算法对行政决定的影响程度和方式、使用参数的权重和适当性、处理的数据及其来源。

　　但是，正如古老的法谚所言：“法律不强人所难。”算法解释权在立法层面的确立，不得不面临着大量实践的质疑——“将解释权形诸纸面，是一回事；将之付诸实践，则是另一回事”。具言之，可解释性的范围相当模糊：算法何时需要解释，具体需要何种解释，难言充分明确；其次，即便“解释”之范围已经明晰，立法者眼中的“解释”，也时常超出当前技术的边界；最后，假设可解释性得以理想方式实践，提供解释是否能保障个体相应权益，同样充满争议。不仅如此，可解释性还有可能带来便利恶意攻击、侵害商业秘密等消极后果。职是之故，无论是在欧盟层面，还是法国国内，目前算法解释权均无执法实例，处于边缘位置。

　　立法和实践的背离使得我们深思：在我国迈向智慧城市、建构数字中国的宏大背景下，是否以及如何设计我国的算法解释权制度，不但是确保人工智能安全、可靠、可控发展的基石，而且是数字时代社会、经济、文化、政治复合风险预防的关键。考虑到正在制定《个人信息保护法》可能借鉴欧盟GDPR，引入对自动化算法决策的解释权。这一问题显得更为迫切。为此，本文试图追根溯源，从科学解释的基础理论出发，探寻解释算法的技术边界，最终构造出理论性和操作性兼具的“算法解释权”制度。

　　一、何为“解释”：算法解释权之基

　　作为科学解释（Scientific Explanation）的子类别，把握算法解释权离不开既有解释理论的支持。在此，我们将从传统解释理论开始，尝试着为算法解释权奠定扎实的理论基础。

　　（一）传统解释理论

　　传统解释理论中，值得算法解释考虑者有三：“演绎-律则”（Deductive-nomological model）解释、“因果机制”（Causal mechanical model）解释及“统计相关”（Statistical-relevance model）解释。

　　在“演绎-律则解释”角度看，“解释”分为“解释项”与“被解释项”，并需同时满足以下条件：首先，由解释项出发，经历演绎论证，可推得被解释项；其次，解释项中应当至少包含一条恒真定律；再次，对上述推理过程，相应定律应当是“必不可少的”，或者说，脱离相应定律，则上述演绎推理无法成立；最后，“解释项”中应当包含可由经验证实的成分。兹举一例，对被解释项“海平面上升”的解释如下：一旦气候变化，冰川将部分融化；其次，冰川部分融化导致海平面上升，这一点可由实证工作检验之；最后，结合演绎两解释项，即可解释海平面上升。值得注意的是，定律未必要是确定的；将相应部分换成统计意义上的定律，亦可成为此类理论下的解释。不过，这一解释尚无法直接运用于算法解释中。这是因为，尽管算法已在“发现高维数据中的精细结构”等复杂问题上取得显著成就，但仍无法达到理论上对“推理”的要求。目前，算法几乎完全“由统计学驱动”，在因果推理方面仍“相当缺乏”。如此，则很难在算法场景下定位此处理论所需的“定律”。

　　“因果机制”解释理论的核心，是事物的“过程”。该理论假定：事物具备特定的“恒量”（Invariant quantity）。、由恒量出发，事物可能经历“因果过程”，即在特定时空范围内，连续地显现相应恒量，或者经历“因果交互”，即不同事物间发生恒量的转移或交换。以网球为例，我们可以将恒量取作球的动量，并考虑球的运动轨迹因撞击球拍而改变的情形，由上述因果过程及因果交互定义出发，即可解释为何球的轨迹会发生改变。因果机制的直观性无法在算法解释中凸显，实际上，我们往往无法在算法解释中确定对应的“事物”或“恒量”。诚然，借助近年迅速发展的可视化理论，我们可以定义“变量”或“特征”，并观察算法训练中相应变量或指标变动的过程。但这些高度依赖具体模型、又随时可能因相应领域进展发生变化的定义，恐怕很难（至少在一般的场景下）担任类似“恒量”的角色。

　　相比前两种理论，“统计相关”解释的涵义更为清晰。给定群体                             ，个体（），以及群体成员可能具备的特征、、，对“为何具备”的统计相关解释，包含以下三部分：其一，不考虑其它因素时，具备的概率，此为无条件概率；其二，计算“具备”对的条件概率（记为），计算“具备”对的条件概率（记为），并分别与计算“具备”对和的条件概率（记为，便利起见，再假设且）。此时，与“统计无关”，与“统计相关”；其三，以上，是的一个统计相关解释，不是的统计相关解释。以下实例有助理解上述定义：记为全体人群，为“疾病是否痊愈”，为“是否曾祈神”（不考虑或有的安慰剂效应），为“是否遵医嘱服药”，按上述步骤，可知解释，不能解释。这一理论勾勒了解释需满足的必要条件——如Salmon所述：“……对解释而言，无关足以致命”。该理论尚有两优点：一是它容易推广至算法场景中的相应问题；二是这一对照性的理论易与个体对算法解释的期待相协调。这是因为，个体总由比较角度看待解释；同时，个体仅对所有解释因素中的一部分感兴趣。从这个意义上看，较之侧重演绎推理或因果机制的解释而言，凸显少数特定特征的统计相关解释，更加符合个体的相应期待。

　　（二）实用主义解释理论

　　实用主义解释理论与传统解释理论相对称，其在追求“实证层面足矣”的同时，也在一定程度上放弃了理论的精确性。实用主义解释理论的特色在于它依赖于解释所发生的场景，以及发出和接受解释者的兴趣、信念等心理因素。

　　在实用主义解释看来，解释的优劣在于是否满足接受解释者的兴趣，它是心理学的和场景论的。质言之，解释首先是对照性的，意即人们常问“为什么结果是这样，而非那样？”其次，人选择性地（以有认知偏差的方式）采纳解释，概率或许不重要；最后，解释植根于现实场景。循此，有效的解释应一般具备以下结构：提供解释者提出一种解释方案，并提出其它方案作为对照，再说明为何前者、而非后者，是合适的解释。无论是对照方案的选取，还是对选取方案的说明，都依赖于被接受者的期待和具体场景。虽然，场景这一概念已无法进一步化约，但从心理学出发，不妨分出三种加以阐释：（1）物之组成部分或运行过程；（2）物的功用；（3）物的类别属性。Lombrozo曾举出以下例子：在说明“为何特定轮胎是圆的，而不是方的或其它形状”时，按照上述场景的分类，答案分别是：（1）“盖因轮胎制造工序如此”；（2）“因为这样车子运行最方便”；（3）“因为这是个轮胎”。总之，在实用主义立场下，解释总包含“对照”与“说明”，后者又包含部分特定的形式。

　　（三）算法解释权的基础：实用主义解释

　　较诸传统解释理论，实用主义解释与算法解释权更为契合。这首先因为，将解释权定位于个体权益，特别是面临“无助、焦虑”个体的权益上。故而，无论是事前设计规制方案，还是事后对规制效果进行评估，都难以回避关乎“心理学特征”的事实，即使特定权益表面上与心理无关，如在算法成为人格延伸之部分时，维护个体权益；又或在个体不当暴露脆弱性时。只要希望通过解释保护相应权益，实用主义的考虑均在所难免。其次，实用主义的引入可适应“实证主义”的追求。如Miller之总结，“解释通常具备社会性”。在实践中评估特定解释时，个体既会考虑相应行为的动机，也会考虑具体的道德与规范。前者关涉心理，后者涉及场景。最后，尽管解释方案应尽量“普适”，伴随算法的迅速迭代和对社会生活的广泛渗透，寻求通用性的解释方案，已十分困难。对相应解释要求，须以强调标准灵活性、设置差异化规定或专设例外等方式调节。最后，实用主义已经成为数字时代法律的底色。以数据隐私保护为例，美国学者Solove将其追溯到特定侵犯造成的“痛苦和压力”；Nissenbaum更是提出了影响深远的“场景融贯”理论，将尊重数据隐私定义为尊重特定场景中的适当性原则，并尊重特定场景中有关数据流动的原则。

　　但还需说明的是，实用主义解释的包容性使之并不排斥传统解释理论。事实上，由于其对实证层面的强调，其完全可以借鉴“统计相关”解释，以增强其说服力。另外，实用主义解释亦并非是一时一地的，它还要求一定程度的普适性，即必须关注是否广泛适用于不同类别的算法，就此而言，它属于弱版本的“模型无关可解释”（Model-agnostic explainable）。

　　二、解释如何“实现”：算法解释权之路

　　徒法不足以自行。在代码统治的世界中，一种纸面上的权利能否转化为真实的主张，必须具有技术可行性，否则只能沦为具文。正如欧盟GDPR实践所显示，无论是“在技术上很难实施”，还是“未能与算法的实际运行挂钩”，都被视为欧盟算法解释权未具实效的原因。事实上，远在1970年代，计算机科学家就致力于解释特定类型的算法，但目前仍分歧重重。就此而言，算法解释权的技术路径毋宁说是决定性的。倘若连奋战于技术前沿的研究者都未能弄清算法的具体工作机理，赋予个体清晰知晓内部逻辑的权利，无异于缘木求鱼。而在更加积极的面向上，明确技术边界所在，并初步说明介入或改善技术的可能性，应是与法律携手，落实算法解释权的必由之路。

　　（一）“黑盒之内”的解释

　　与传统算法不同，当前的主流算法（如深度学习）并不遵循数据输入、特征提取、特征选择、逻辑推理、预测的过程，而是由计算机直接从事物原始特征出发，自动学习和生成高级的认知结果。在其输入的数据和输出的答案之间，存在着我们无法洞悉的“隐层”，它被称为“黑盒”（black box）。这里的“黑箱”并不只意味着不能观察，还意味着即使计算机试图向我们解释，我们也无法理解。哥伦比亚大学的机器人学家Hod Lipson把这一困境形象地描述为“这就像是向一条狗解释莎士比亚是谁”。

　　在黑盒难以打破的前提下，所谓“黑盒之内的解释”，即只针对模型输出，而无需或只需要非常优先的模型内部信息所进行的解释。根据信息量的多少，解释可进一步划分至三个不同层面：（1）影响算法决策因素的信息；（2）在特定范围内，相关相应因素，如何影响算法决策的信息；（3）应如何变动对应因素，使算法输出特定决策的信息。

　　目前，第（1）层解释方案仍存在大量问题待解。首先，如何在难以解释的算法中挖掘出相应影响因素，目前仍在持续研究之中。其次，假设对特定算法，确实可以得出上述信息，但未必能当然地为个体所理解。因为在很多场景中，深度学习等算法的目的之一，本就是学习有效、但常常难以为个体所发现或表征的影响因素。而在另一部分场景中，开发者同样有可能需要将易于为人所理解但不易处理的因素，转化为对处理有效、但不易于理解的特征，此谓“特征工程”。最后，即使相关因素均可为人所理解，由于相应模型常十分复杂，可能涉及成千上万个高维因素，而个体通常偏好简洁的、有选择的解释，仅仅机械地展示对决策有所影响的因素，很可能明显超出个体的认知能力，进而导致解释无法达到预期的效果。

　　第（2）层解释方案同样不易，但并非不现实。至少，在一部分算法中，现有技术可实现以下三类功能：在局部或全局范围内，展示不同因素与算法间的相关性；在局部或全局范围内，展示不同因素影响算法决策的程度；以及用本身具备可解释性的算法，在局部或全局范围内近似其它不可解释算法。虽然如此，由于第（1）层面信息的限制，如果我们没有尽晓为个体感兴趣、且影响算法决策的变量，上述功能的发挥，自然会打折扣。不仅如此，除“局部可解释模型不可知论解释”（Local Interpretable Model-agnosticExplanations, LIME）方法等少数方法外，其它各类型解释，多难以普遍适用。

　　第（3）层解释方案即“反事实解释”理论，相应研究已经成为法学与计算机科学交叉领域的热点。然而，无论是相应理论本身，还是后续跟进的研究，都存在仅适用于特定模型、仅适用于特定数据和/或不稳健等特性。在考虑相应解释方案时，当较前两层面而言更加谨慎，也更为可行。

　　（二）打开黑盒的解释

　　较诸模拟、近似或预测“算法将如何决策”的黑盒解释，触及模型内在机理、探讨“算法为何如此决策”的“打开黑盒解释”方案，可能更符合人们对“解释权”的通常理解。在一些风险高度敏感的场景中，如果不能从原理层面解释算法，必然被人诟病。因此，我们不妨大胆预测，简要讨论相应研究，并在法律规制中为技术进展预留空间。

　　打开黑盒的解释可分为：（1）不寻求完全揭示算法工作原理，而仅致力于以个体能够理解的方式，展示算法部分内在细节的解释；（2）寻求建立能够充分解释“算法为何正当”的理论。

　　第（1）层解释方案固然迅速发展，但针对具体算法，则存有四个方面限制：首先，不具备相应专业知识的个体，不太可能理解此类解释。其次，盖因此类解释多用于协助研究者或开发者训练、调试或加固模型，类似方案常仅针对特定模型之参数，未必具备普适性；再次，倘若解释过度暴露算法的特定内部细节，算法安全性可能因此显著下降。例如，有不少研究意在充分展示神经网络中的“梯度”（Gradient），以便利开发者训练其间参数；然而，借助梯度信息，攻击者可能据此推断用于训练算法的原始数据，从而造成严峻的隐私风险。类似信息，亦有可能用于构造用于欺骗算法的对抗样本，进而带来难以忽视的安全问题。总之，该解释方案，未必能有效地促进个人权益，还有可能带来幅度相当不确定的负面影响。损益相权，总体宜持保守态度。

　　至于第（2）层解释方案，至今仍无实质进展。针对深度学习的工作原理，即使是近两年来最具影响力的“信息瓶颈”理论，也无法很好地解释其他学者对算法内部运行的观察。若将解释权锚定在这一层面上，无疑是“不可能完成的任务”。不过，在思考可解释性的中长期愿景时，其可以是考量因素之一。

　　（三）另类的解释

　　除上述以“黑盒”为中心的解释分类外，还有一些解释属于帮助个体理解的算法的辅助性方案，如可视化、可交互以及举例解释。这些解释方案均可与前述“黑盒之内的解释”和“打破黑盒的解释”并行不悖，同时，凭借着工具性质，它们还能更有效地实现拟议的解释方案。

　　“可视化、可交互”使得算法解释的输出更显“用户友好”。在未经恰当方式展示前，信息和逻辑必然是“冷冰冰”的、难以为个体所释读的数字。为此，算法可以在适当的情形下，以图像、动画、表格展示解释；对满足特定形式的解释，可以转化为自然语言，以谈话形式与个体沟通算法解释；至于老年人、残障人士及儿童等通常需要特别关注的情形，更需要以特别方式予以交互。反观个体层面，在感知并评估算法解释时，个体可能会考虑以下因素中的一种或多种：解释是否令人满意；解释是否完整；解释是否足够细致；解释是否便利操作；解释是否具备足够细节；解释是否有用；鉴于相应解释，算法是否值得信任，等等。同时，亦有部分衡量个体“好奇”或“理解”特定算法程度的指标：是否希望理解算法；是否希望知晓自己的理解是否正确；是否为算法之决策感到惊奇；是否期待理解算法的后续决策；是否希望理解，算法如何对不同输入作出反应，等等。研究者可以借鉴心理学中用以评估的量表，绘制出“解释满意度量表”。放宽视野看，如何增强解释方案的“用户友好化”和“场景化”，以及评估相应趋势指标的“进化”，理应纳入解释方案的构想之中。此外，“举例解释”是选取少量算法决策实例，并通过说明相应决策的方式解释算法的方案，其优势在于充分契合了个体认知规律。一个有效的举例解释，应当与实用主义解释类似，具备“对照性”及“选择性”。当算法决策出现异常、不符个体预期时，个体对解释的需求通常尤为迫切，相应解释效果如何，也会影响后续对算法的信任。因此，举例也是解释方案应当考虑的重要组分。

　　（四）可能的技术进路

　　“黑盒之内的解释”是算法解释权实现的最主要方案，这不但源于其落在个体理解能力和技术层面边界，更由于其与实用主义解释理论相吻合。其中，由揭示影响决策因素信息，至决策相关性信息，再到预测反事实的决策，三层方案层层递进，困难也层层提升。至于各类打开黑盒的解释，鉴于其间风险及实现障碍，在出现根本性突破之前，暂可作为方案长期设想的考虑因素之一。最后，无论是便利个体感知的各类可视化或交互技术，还是重点突出的举例解释，均可与“黑盒之内的解释”手段互补运用。

　　三、权利怎样构造：算法解释权之法

　　作为一项法律制度，算法解释权的困境根植于科技层面的障碍，即没有充分考量技术上的实现程度，或者即使承认“在机器学习等算法中，使其向用户提供自动化决策及与个体画像相关的信息变得十分困难”，但依然坚持认为“如此困难不应成为拒绝提供相应信息的正当理由”。其间逻辑联系，可谓“跳跃”。为了化解实践与理论的鸿沟，我们认为，算法解释权的构造必须秉承实用主义解释理论，回归人和算法使用场景，同时在技术设定的条件下，促进法律与科技的耦合。

　　（一）算法解释权的主体、对象与范围

　　当今，准确界定应当提供解释的主体，正变得愈发困难。这首先因为，作为算法输入之数据，相应收集与标注工作日益专业化，并可能与算法开发工作相分离；其次，在算法开发过程中，伴随Github等专业平台的兴盛，调用已有算法实现的现象日益频繁。由此，即使是算法的开发者，亦未必清楚算法的具体实现机理；最后，人工智能芯片等封装算法硬件的发展，在使算法之实现日趋专业化、标准化、模块化的同时，也进一步延长了算法开发者与实际的算法使用者间的距离。此时，如果令算法开发者提供解释，相应主体可能亦难与解释对象直接沟通；而令算法使用者提供解释，因相应主体未必知晓算法原理，无法提供有意义的信息。这是一个两难选择。

　　算法解释权的范围，同样尚未完全解决。如前所述，除“具备法律效应的自动化决策”外，欧盟GDPR第22条及鉴于71条还涵盖“产生（与法律效应相似的）显著效应的”“自动化决策”。这里可以明确的是，“自动化决策”意味着个人无法对该决策过程施加有意义的影响，无论这个决策由行政机关还是私人部门作出，均在所不问。欧盟29条工作组进一步指出，计算机辅助决策系统并不在该自动化决策范围内。但另一方面，关于何为“显著影响”，一直语焉不详。29条工作组认为，若自动化决策长期或永久地严重影响了个人所关切的环境、行为和选择，或导致个人遭受排斥或歧视，则构成“显著影响”。对此，GDPR的序言举出在线信贷申请和数字招聘的例子，试图明晰。造就这一困境的同样是一对张力：一方面，算法日益包罗万象、渗透个体生活各层面，本身是引入解释的理据之一；另一方面，以上倘若对各色算法均要求解释，相应信息之数量，恐足以构成对个体脑海的“DDoS攻击”。

　　针对上述难题，我们建议不妨将算法解释权与现有个人信息保护实践深度整合。具言之，提供解释的主体，是在特定场景下以算法处理其个人信息的“个人信息控制者”；提供解释的对象，是自动化决策的相对人；提供解释的范围，则仅针对特定场景中的算法。此处的“特定场景”，应由个人信息保护规制体系中已经或将会列明的重要或敏感场景界定，包括但不限于健康医疗，特别是涉及基因遗传的领域；社会信用；金融业务；用户画像；新闻的个性化推送；（足以识别至个体的）音视频合成；对相应个体产生法律效力的情形；以及后续被界定为重要或敏感的、使用算法处理个人信息的情形。

　　既有案例彰显了上述解释主体和解释范围的正当性。在卢米斯诉威斯康星州一案（Loomis v. Wisconsin）中，卢米斯通过辩诉交易承认了没有得到主人同意的情况下驾驶摩托车和企图逃离交管员管控这两项轻罪，最终却被判决6年徒刑和5年延期监督（Extended Supervision）。这是因为在量刑阶段，威斯康辛惩教署引用了“罪犯矫正替代性制裁分析管理系统”（COMPAS）的风险评估结果，将卢米斯的危险等级认定为“高风险”。卢米斯不服，向初审法院提交了定罪后的缓解动议，认为被告人有权知道被控告的理由，法院依据COMPAS的评估对其加以判决侵犯其正当程序权利。在“个人信息控制者”和“个人信息处理者”二分架构下，开发COMPAS系统的Nortpointe公司并不负有解释算法的义务，其商业秘密得以保护，而威斯康辛惩教署作为决定卢卡斯个人信息使用方式和用途的控制者，应说明其算法原理。与此类似，在我国健康码的争议中，腾讯、蚂蚁金服等科技企业的角色亦为个人信息处理者，对民众无解释义务，相反，使用健康码的政府机关实为个人信息控制者，须承担算法解释的义务和解释不能的后果。

　　算法解释权和个人信息保护的整合，既避开了在技术话语中精确界定主体的困难，又可直接参照个人信息保护中已相对成熟的概念体系，尚可循个人信息保护在“场景性”方面的扩展而不断调整。从实践面观察，该等整合将显著便利解释主体及监管机构。对前者而言，算法解释权可因此成为个人信息合规的一部分，而不必分别实施。对后者而言，监管工作亦可自然纳入现有个人信息违法违规治理实践。诚然，如此设想，可能在一定程度上限制了解释权的范围；不过，相比理论层面之完备，基于实用主义的立场，以及“于现有规制框架下以审慎态度探索”的经验教训，尽力使算法解释权平滑“嵌入”现有规制思路与实践，应是更加务实的选择。

　　（二）算法解释权的权利内容

　　围绕着算法解释权的权利配置，国内学界已有相当的研究。例如，张恩典认为，基于算法模型的建模阶段和算法模型运用于特定主体两阶段，可以将算法解释权分为以“算法功能为中心”的解释权和以“具体决策为中心”的解释权，前者要求提供的信息包括自动化决策系统的逻辑、意义、设想后果和一般功能，后者提供的信息包括特定自动化决策的基本原理、理由和个体情况。而张凌寒则立足于具体决策的解释，将解释权分为“事后的具体解释”、“事后更新解释”，以及对自动化决策者拒不提供解释或没有提供充分解释的救济。在本文的脉络下，之前的研究或者忽视了技术条件对解释权的强烈制约，或者忽视了解释权普适性的要求。在此基础上，本文试图从“黑盒内之解释”出发，贴合技术场景和个体需求，提出三层次的算法解释权构造。

　　1.算法数据的解释权

　　个人有权要求信息控制者（一般为算法使用者）在合理范围内，展示输入算法变量（个人信息）的权利。详言之，（1）此处输入变量的“合理范围”，由相应算法所处理的个人信息所准确界定。在某种意义上，这可视为个人信息保护中已有规定的延伸——解释主体需告知用户，收集或处理个人信息的目的，是用于优化上述目标，并进而达到采用算法的目的。如果算法之输入包含非个人信息变量，解释主体可灵活决定是否展示；（2）对需要展示的个人信息，可分为“个人敏感信息”和“其他个人信息”。对于后者，解释主体可以灵活选择展示方式。比如，对多个性质详尽的变量（如工作单位、社交网络、关注与点赞清单等），以主成分分析或其它方式，概括为同一变量（“社交”）展示。对其间“个人敏感信息”，主体宜单独展示每一变量。（3）展示过程中，主体既可以采取简单的文字列表方式，也可以采取符合认知特点的可视化方式。对儿童、老年人或残疾人等或有不便的群体，鼓励专门设计符合认知特点的展示方式。

　　这一层次的解释权有助于个体对算法产生较为全面的理解，从而促进人格尊严、知情信任和理性选择。此外，要求算法主体全面展现算法所处理的个人信息与个人敏感信息，既有利个体及时发现个人信息保护中的风险，又有利观察算法中是否可能存在需要不合理的歧视现象。同时，鉴于此处仅要求说明主体很可能本来便需要展示的内容，并对具体展示形式赋予了较高程度的灵活性，不太可能造成安全或侵犯秘密的风险。而在解释理论层面，将要求限缩至个人信息、尤其是个人敏感信息层面，符合解释的“选择性”要求。

　　对此，近年判决的NJCM cs/ De Staat der Nederlanden案可资佐证。在该案中，荷兰政府采取算法，根据工作、税收、教育、住房、养老金等多种个人信息，预测个体在领取社会救济时舞弊的概率，但却没有公开这一算法使用的任何具体信息。海牙地区法院在援引ECHR第8条后判决：由于这一系统不够透明、无法验证，对算法可能造成的隐私侵害缺乏足够防护，荷兰政府侵犯了公民的隐私权，应当立即停用这一系统。

　　2.算法逻辑的解释权

　　个人有权要求信息控制者（一般为算法使用者）在合理的范围内，说明相应算法变量（个人信息）对自动化决策结果产生何种影响的权利。在具体实施层面，可作如下四方面展开。（1）这里的“相应变量”仅包括上一层次已经涵盖的个人信息中参与实际分析推断的信息；（2）决策结果需要在具体场景中界定，包括但不限于诊疗结果、信用分数、信贷决定，等等；（3）“影响”有必要进一步细化。在输入（个人信息）与输出（决策结果）均可排序的场合，个人信息控制者可以展示数字化变量间的“正相关”与“负相关”，说明当输入信息（在一定范围内）上升/下降时，输出结果的高低变化。而在输入或输出无法排序的场合，可允许其灵活处理，既能显示全局相关，也可展示局部相关，只需说明相应相关性的作用范围即可。（4）个人信息控制者应选择用户友好形式解释说明。针对个人，信息控制者应帮助其理解特定信息如何影响决策结果，从而成为后续知晓并对抗算法歧视问题的重要依据；针对公众，信息控制者应帮助其了解富含不同社会价值的信息类型以何种方向影响输出，有利于更精细地评估算法是否恰当平衡了各方社会利益。在解释理论层面，此处要求的统计相关解释，可作为过于灵活、难以准确界定的实用主义解释的补充。

　　在K.W. ex rel. D.W. v. Armstrong一案中，爱达荷州联邦地区法院已采取了上述解释进路。多年来，爱达荷州政府对智力或发育残疾的个体进行评估，基于多项问卷数据，计算个体每年领取的救济金数目。2012年前后，相关算法缺陷致使救济金计算错误，严重影响被救济人生活，4000余人由此发起集体诉讼。法院判定，州政府需要充分告知民众救济金数目发生变化的具体原因，如问卷特定项目的答案发生变化，或者是其它解释和根据（Explanation/Justification）。

　　3.算法审计的解释权

　　“算法审计”要求个人信息控制者（一般为算法使用者）针对模型、数据和决策结果留有明确记录，从而在变动对应因素后，使算法输出特定决策，以备监管部门、第三方机构或法院的核查，最终判断算法是否将会导致歧视性或其他不当后果。与之前两个层次的权利不同，该权利更倾向于事后的验证、测试和问责。为此算法主体应当建构出一套具有交互诊断分析能力的系统，通过检视输入数据和重现执行过程，来化解人们可能的质疑。“反事实解释”成为这一层面解释权的核心。具体而言，个人信息控制者应根据“若非 A 则无 B”的反事实解释原则，允许个体选取希冀达到之决策结果，并告知个体如何变动现有输入信息，可以实现所选输出结果。

　　若任一层次的算法解释权无法实现，个体即可不接受该等算法作出的决定，并有权要求相应算法使用者采取人工方式重新作出。此外，考虑到许多经由算法的决定系其他事务的中介环节或必要前提，遭受不利影响的个体还可另行提出其他权利主张，以弥补损失。例如，在征信领域，央行征信报告和科技金融公司的信用评分在风险控制中的作用日益凸显，如个体认为其在贷款发放过程中被不公正对待，且央行或科技金融公司未能充分履行算法解释的义务，则个体可以据此要求赔偿因之产生的“纯粹经济损失”。

　　结语

　　在人工智能的决策中，“准确性”（accuracy）和“可解释性”（interpretability）始终负相关，换言之，容易向人类解释的算法的准确性往往低于难以理解的算法。例如，深度学习、随机森林（Random Forests）、支援向量机（Support Vector Machines, SVMs）等准确性高的算法可解释性相对较低，而可解释性较高的信念网路（BeliefNets/Bayesian）或决策树（Decision Trees）却有着较低的准确性。这种“准确性”和“可解释性”两难，何尝不是科技与法律的两难。我们生活在一个科技领先于法律的时代，这是科学家的幸运，但亦是法律人的不幸！面对人之尊严和人之完整性被算法侵蚀的威胁，算法解释权是不可或缺的制度因应。但同时必须承认，迄今为止，我们还很难为算法提供有意义、普适且自洽的解释理论，它需要数学和哲学等基础学科方面的积淀，需要心理学和社会学提供的经验，算法解释权的法律之途任重而道远。

本文首发于微信公众号：数字经济与社会。文章内容属作者个人观点，不代表和讯网立场。投资者据此操作，风险请自担。