高级检索

学术资源

交叉学科研究

当前位置: 首页 -> 学术资源 -> 交叉学科研究 -> 正文

王苑:完全自动化决策拒绝权之正当性及其实现路径——以《个人信息保护法》第24条第3款为中心

信息来源:《法学家》2022年第5期 发布日期:2023-02-09

王苑

(法学博士,清华大学法学院助理研究员)


[ 完全自动化决策更易引发系统性风险,对隐私和公平造成威胁。欧盟立法以人在环路作为防范自动化决策系统滥用危害的基本遵循,对完全自动化决策一般禁止、例外允许。人在环路应被解释为信息处理者的干预义务,而非信息主体的权利,利于个体正义的实现和责任主体的明确。我国立法规定了完全自动化决策拒绝权,信息主体可行使请求权以迂回实现人在环路之法律效果,亦避免给处理者过重义务,对人工智能产业的发展造成不合理的阻碍。该项权利并非事后救济权,而是信息主体在决策的事前、事中及事后的个人参与”,应满足仅通过自动化决策的方式作出决定对个人权益有重大影响两个要件,且需与信息主体的其他权利配合行权。

[关键词完全自动化决策;混合决策;个人参与;人工干预;人在环路


一、问题的提出

《个人信息保护法》第24条第3款明确了完全自动化决策拒绝权的请求权基础,学界既有研究以他山之石作为基点的探讨较多,尤其偏重于立法论层面,缺乏对我国法上该条款的规范意蕴和实现路径的系统梳理。完全自动化决策拒绝权对《欧盟一般数据保护条例》(General Data Protection Regulation)第22条第1不受完全自动化决策约束权right to not be subject to automated decisions)有明显的移植痕迹。问题在于,欧盟法上该条款长期处于僵尸状态,一方面确系该条款在解释上之模糊性所致,另一方面也是因个人行权之难。因此,我国法移植该权利的必要性及正当性需要澄清。同时,为避免陷入欧盟法上类似的僵尸处境,也有必要对该权利的内涵和外延进行廓清,并对其实现路径进行理论证成。本文分为三个部分:首先,解析完全自动化决策之风险,并明确欧盟立法上的考量;其次,就我国该条的规范意旨进行比较法上的研究,探寻立法背后的价值;最后,从解释论出发,通过文义、历史、体系、目的解释等方法对实在法下的该权利作出合理解释。


二、风险考量:完全自动化决策vs.混合决策

自动化决策分为完全自动化决策和混合决策(hybrid decision-making),二者的区别在于决策中是否涉及人工干预,只要在决定时检讨并考虑了其他的因素,决策就不是完全自动化。比如某份贷款是否被批准,算法决定并自动送达给贷款申请人,未经任何环节的人工审核,即完全的自动化决策。可见,判断是否构成完全自动化决策,关键在于是否进行了实质干预。完全自动化决策系统又被称为脱离环路的系统(human-out-of-the-loop),存在较大的系统性风险。在应对此类风险时,欧盟以人在环路human in the loop)作为核心考量,即完全自动化决策的一般禁止。

    (一)完全自动化决策的场景化风险

完全自动化决策(人工智能)依赖算法,系统性风险可以按照不同的标准进行分类。有学者按照风险内容将人工智能的社会风险分为伦理风险、极化风险、异化风险、规制风险、责任风险。还有依据不同的社会场景对完全自动化决策风险的划分,可以抽象理解为根据完全自动化决策在不同社会关系中对关系和期待的破坏程度进行区分。此外,按照引发风险的行为主体的身份(公共部门和私人领域)来划分也是一种重要的分类,下文将围绕在公共和私人场景中使用自动化决策的影响而分别展开。

1.公共部门为履行法定职责或法定义务使用完全自动化决策

对于完全自动化对行政决策的破坏,国内外学界均已有一系列的深刻反思。随着技术上的重大变革,自动化行政从自动化作为行政辅助工具逐渐转变为主要的决策者。美国学者Ryan CaloKeats Citron认为自动化可能会破坏行政国家的前提,因为自动化会破坏行政人员的专业知识和专业判断力,最终损害结果的公正性。Wagner提出人类在行政决策中的参与必须是实质性的,否则人类可能沦为橡皮图章式的准自动决策的责任角色。

以自动化决策技术在预防犯罪和刑事司法系统中的适用为例,支持者认为技术的采用可以更有效率地处理大量数据集,或者更准确地评估风险。同时,使用自动处理技术来确定刑期长短,也有利于类案同判的实现。反对者则认为,在预防犯罪领域,自动化决策技术常被用于安全性案件的预测,比如预测某一特定事件可能发生的犯罪地点,便于警方确定调查和逮捕的时间。这些系统往往以现有的犯罪数据库为基础,而这些数据库有意无意地反映了系统偏见。因此,预测算法可能导致偏见性决策和歧视性结果。另外,司法领域正在开发人工智能辅助系统来支持或协助法官的判案,但鉴于大多数司法机关所承受的案多人少、审判资源严重不足的压力,一旦采用自动化决策系统,法官有可能不适当地使用基于人工智能的支持系统或向自动化系统逃逸,将决策委托给并非为此目的而开发的技术系统,最终可能损害公平审判的权利。因此,欧盟法明确禁止了刑事案件仅基于自动处理作出决定。

2.私营部门使用完全自动化决策

私营部门为追求决策的便捷和效率大量使用自动化决策系统,可能会导致歧视等问题。大公司受益于人工智能的洞察力,而弱势群体则被视为人工智能实验的素材,自动化技术的使用很大程度上会加剧不平等。比如亚马逊的购物推荐系统倾向于推荐自己及其合作商家的商品,即便其他卖家的价格更低,消费者也无法获得公正的商品比对结果。而谷歌作为全球最大的算法公司,对哪些搜索结果能够被呈现以及结果的排序都有绝对的话语权。

同时,在社交网络场景下,一方面,涉嫌违法和侵权的内容不断增长,另一方面有关部门对大型平台科以愈发严格的责任、强化义务履行,因此完全自动化技术常被用于网络违法违规内容的移除,比如删除仇恨言论和暴力色情内容、限流等等。问题在于,虽然自动化系统可以检测并显示出潜在的违规内容,但特定场景中的其他要素则需要人工来进行添加,比如适当考虑舆论、用户本身的情况、文化等方面,以便更细致地对情况进行判断。在没有人工干预的情况下,很难作出场景化的决策。完全自动化决策缺乏这种灰度,可能会造成过度审查或对言论自由的侵犯。鉴于高度依赖场景和文化价值判断,也可能存在过度制约言论自由的风险,完全自动化在私人领域的使用也常常被认为不合时宜。

此外,人类一旦把决策权完全交给了算法,就会形成一个算法统治的世界,强化Zuboff所谓的监视资本主义Surveillance Capitalism),引发人类身份认知的危机。社会学家Jeffrey Reiman曾提出一个思想实验:试想自己生活在一个信息鱼缸中,类似于边沁描绘的圆形监狱里的囚犯一样,鱼缸里的人会被全面监视。Reiman认为,被困于信息鱼缸的人不仅会面临失去自由的风险,还可能遭遇心理异化(Psycho-political metamorphosis)的风险。丧失自由,主要体现为被追踪、被监视,最终被困于信息茧房之中,比如头条、抖音、小红书等根据点击和浏览记录所推送的可能感兴趣的内容。而心理异化的风险则主要体现为主体性的丧失,理性的算法规则取代了理性的自我反思式的判断,不仅仅是对行为方式产生阻碍,长此以往还会影响人的思维方式。长期被监控的人会逐渐从监控者的角度自我审视,一旦通过第三方的视角来自觉制定计划和行动时,就被剥夺了自主性和充分的自我意识。

因此,数据处理技术可以为决策提供帮助,并将服务人类作为其终极目标。应当确保数据主体参与对其重要决策的利益,特别是确保人在形塑自己方面保持主导地位,以维护人的尊严,避免数据阴影data shadow)成为决策的唯一依据。鉴于此,人类的判断力必须占有一席之地。

    (二)混合决策(人在环路)之必要性

面对完全自动化决策的系统性风险时,欧洲和美国的应对进路长期有较大分歧。从立法源流观察,欧洲一直以来就把置于中心位置,无论是赋予公民坚持特定决策必须由人作出的权利,还是要求平台中人的责任主体地位。欧洲人认为,人的尊严和人格权为划定数据保护中的人和机器的界线奠定了基础,这种保护理念认为人不应被视为数据处理的客体。也正是基于此,欧盟立法对完全自动化决策采一般禁止的态度。欧洲委员会以及欧盟高层次专家组就自动化决策的应用秉持了一种以人为本的设计理念,强调必须保持人与人之间的联系,同时也要求提供合理的个人选择机会。尽管一些美国学者、技术专家、商界领袖和政策制定者对自动化也有近似的担忧,但立法决议是以追求透明的形式呈现的。在很长时间内,美国都试图通过技术中立的方式来保障人和计算机的距离,使自动化决策尽可能做到准确、公平和客观。虽然美国并未采用概念化的欧盟模式,可随着欧盟路径在全球范围的持续影响,人在环路的理念也逐渐渗透到各国立法,日益成为解决与自动化相关的透明度、偏见、法律安全和系统性风险问题的标准解决方案。为何人在环路在自动化决策过程中是必要的?这包含了两个层面的核心问题,一是环路中机器自由裁量的限度;二是环路中责任主体如何确定。因此,下文将从个体正义的实现、责任承担主体的考量两个层面来进行论证。

1.个体正义的实现

完全自动化决策追求的目标是提高效率,并减少因人的不确定性导致的结果的不确定性。但欧洲政治文化认为,以完全自动化的方式对待一个人,或者只提供自动化的选项,就是对个人的去人性化。自动化与人性之争,可比拟于法学上经典的规则与自由裁量权之争。人工干预的必要性实际隐含法哲学上一个经典观点,即每个案件都需要根据个案就是非曲折进行评判。而完全自动化系统的基本运作机理就在于谁设置了条件,谁就决定了输出,被戏称为垃圾进,垃圾出garbage ingarbage out),这一机理必然导致自由裁量权的缺失。

计算规则与法律规则有诸多相似之处,假设自动化系统中嵌入了正义的规则和逻辑,那么输出的结果也应当是正义的,人工干预似乎并非必要。但规则本身是不全面的,并具有滞后性,要在自动化系统产生之初即已经预见并完善所有的规则是不现实的;其次,即便规则可以嵌入自动化系统,并可以发挥相应的作用,也并不表示其输出的结果具有确定性和正当性。比如自动化行政中,相同情形下,人为审查可能是符合条件的,而自动化审查中电脑的会直接导致行政申请人无法获得相应的许可。因此,对于一个依赖完美规则的完全自动化系统,缺乏自由裁量的存在,其正当性存疑。

可能有观点会质疑人的自由裁量的必要性。在法律与人工智能领域,专家们已经不断在寻求可替代系统,来模拟法律的推理, 机器也可能有自由裁量权。因此,这一问题便转化为——人的自由裁量是否优于机器的自由裁量。有许多学者举例人的自由裁量反而影响了结果的公正性,例如在法官和行政人员滥用自由裁量权的情形,继而对人的判断和人的干预是否具有真正的价值提出质疑和批判。退一步即便认可人的自由裁量的优势地位,个体正义如何与正义的其他方向(比如集体正义、公平或者不歧视等价值)协调平衡也是一个经典难题,类似讨论很容易让人陷入彭罗斯阶梯式的无限循环之中。

毋宁先搁置上述争议,探讨技术本身是否可以实现设计上的公平公正,以及输出结果上的不偏不倚。自动化系统作出复杂决策的能力取决于技术和算法的成熟度。但就目前而言,程序设计中的偏见难以避免,况且即便已有某些自动化系统具有人类那种价值平衡的能力和追求公平正义的品质,也无法通过评估每个自动化系统来获知是否可以得到一个公正的结果。在司法领域,美国威斯康星州最高法院禁止法官将评分作为被告禁闭或释放的决定性因素,以免个人受计算机生成的犯罪风险分数的影响,并要求必须向法官发出评分可能不准确的提示和警告。这实际上对在案件审判中必须保留法官的干预提出了明确的要求。欧洲委员会也在一份报告中明确提出,决策过程的自由裁量不能自动化。因此,只要社会还追求个体正义,自动化决策系统就不能(完全)取代人类的判断。

2.责任承担主体的考量

除实现个体正义的目的外,保持人在环路的另一个重要原因,即有助于确认明确的责任承担主体。国家互联网信息办公室等九部委出台的《关于加强互联网信息服务算法综合治理的指导意见》中,明确了企业对算法应用产生的结果负主体责任的要求。自动化决策正在成为社会决策的重要规范,当人对技术系统的控制变得有限,对责任的承担就提出了巨大的挑战。如果决定是由机器作出的,且使用了越来越复杂的算法,具有明显的客观性和无可争辩的特点,而人类决策者若对机器决定过度倚重,进而放弃自己责任,就容易出现所谓的橡皮图章官僚屏幕官僚

显然机器无法成为责任主体,人才是最终责任承担者。鉴于此,人必须对自动化决策进行控制,并非只是象征性的干预,而是有权且有能力改变决策。欧盟高级专家组认为,人在环路中的,需要具备在系统的每个决策周期中进行人工干预的能力。行文至此,人在环路中的人,其实是信息处理者(或自动化决策者),而非信息主体。因此,人在环路应当被解释为一项义务,而非人在环路权,将人在环路视为权利会混淆人在环路的身份。作为欧盟规避完全自动化决策风险的关键理念,人在环路在立法上表现为明确信息处理者在信息收集、信息分析及决策选择三个环节中有人工干预的义务,也即对完全自动化决策的一般禁止。

为避免完全自动化决策的风险,以欧盟为代表的各国提倡要保持一个在决策环路中。一是因为个体正义的实现无法通过嵌入系统的规则所直接推导出来,而必须要求人在决策时综合考虑场景各要素自由裁量。自由裁量是决策结果的作出,是对人有重大影响的一环,自动化系统无法替代人作出自由裁量,而只能成为人的决策的辅助。二是一旦涉及侵权,人在环路可以确保找到明确的责任承担主体,而无法以决定并非人所做出,只是机器在执行程序性的任务作为免责的托辞。此外,人工干预的主体是决策者,因此人在环路更应被视为一项义务而非一项权利。


三、价值取舍:禁令还是权利

针对完全自动化决策,欧盟成文法中的不受完全自动化决策约束权,文义上表现为权利,但在理论及实践上,该条应被解释为权利还是禁令,长期存在争议。从对欧盟人在环路立法理念的分析可见,立法者认为信息处理者(决策者)在决策过程中应承担一种人工干预的义务。而我国《个人信息保护法》采用了权利进路,明确规定了拒绝完全自动化决策权,该权利的规范价值和规范内涵应当建立在对被移植对象的理解之上。

    (一)名:法解释上的歧见

1.立法沿革及解释争议

《欧盟一般数据保护条例》第22条第1款继受自《欧盟个人数据保护指令》(Data Protection DirectiveDPD)第15条的内容,而《欧盟一般数据保护条例》第22条第1款和《欧盟个人数据保护指令》第15条的立法根源又可追溯至1978年《法国数据保护法》,该法最初的第2条禁止涉及对人的行为进行评估的司法、行政或个人决定,因为这些决定完全基于有关个人的特征或个性的自动数据处理。既然作为《欧盟个人数据保护指令》源头的法国法一开始就明确了禁令模式,为何欧盟各成员国在实施《欧盟个人数据保护指令》第15条时采取了截然不同的解释路径?比如奥地利、比利时、德国、芬兰、荷兰、葡萄牙、瑞典和爱尔兰就将《欧盟个人数据保护指令》第15条作为一般性的禁令执行,而英国则采取了一般允许、特殊禁止的相反模式。由于《欧盟个人数据保护指令》第15条和《欧盟一般数据保护条例》第22条第1款的继受关系,这一分歧同样延续到了对后者的解释中。

从文义上,《欧盟一般数据保护条例》第22条第1款确实未明确该权利是否必须被行使,以使得数据主体不受自动化决策决定的约束,或是否为对完全自动化决策的法定禁止。一种观点认为该条既可以被解释为禁令,也可以被解释为反对权。亦有观点旗帜鲜明指出其应当作权利论,是数据主体享有的一项主体权利,因为法条明文表述为某某权利,而非表述为禁止或不得从事某行为。权利解释有三点理由:一是该条的位置在数据主体的权利一章,表明了立法者构建不受完全自动化决策约束权的基本构想;二是完全自动化决策过程的存在是其他条款的前提,比如数据控制者有告知完全自动化决策系统存在的义务,如果完全自动化决策被禁止,何来告知之必要?三是该款所针对的完全自动化决策已经被广泛应用,可能给社会带来整体福祉,从成本收益的角度,也不应当对完全自动化决策予以禁止。

2.禁令的理据

更多观点认为对完全自动化决策应采取一般禁止。比如欧盟第29条工作组的官方指南就持禁令观点。《欧盟一般数据保护条例》立法说明第71条也同样指出,只有在例外情形下,自动化处理(包括画像)做出决策才是被允许的。而解读为权利,则为数据主体确立了不受自动化决策约束的请求权,只要符合该条第2款的三种例外情形,该请求权不适用。不同的解释路径会导致数据主体主动性上的差异,主体行权的前提是知悉自动化决策的存在,同时也必须就该决策对其的影响与数据控制者之间进行协商解决,因此权利路径显然对数据主体要求更多。

解读为禁令,意味着数据控制者在未满足第22条第2款的三种例外情形时,不得进行完全自动化决策。数据主体默认受保护,而监管机构应负有保护数据主体不受自动化决策决定约束的职责,并可在违法时对数据控制者实施行政罚款等手段和措施。因此,与权利解释相比,禁令解释似乎给数据主体的利益以更大的保护,因为数据控制者负有法定义务将完全自动化决策限制在《欧盟一般数据保护条例》第22条第2款所限制的三种例外情形下。

笔者以为,除上述理据外,人在环路内在要求施加给数据控制者人工干预自动化决策的义务,禁令说也更符合欧盟一直秉持的人在环路的立法理念。因此,《欧盟一般数据保护条例》第22条第1款虽然名为权利,实为禁令。禁令解释可能有两方面的影响,一是一般禁止+例外允许的立法导向,表明了欧盟立法对完全自动化决策技术的怀疑和担忧,可能造成欧盟范围内人工智能技术发展成本的增加和技术发展的迟延;二是可能导致举证责任的转变——从原告证明自己的该项权利被侵害变为被告证明自己的行为并未构成完全的自动化决策,即争点最终归结于被告采用的自动化决策系统是完全还是混合,事实上现有案例也证明了上述猜测。

    (二)拒绝完全自动化决策权在我国立法上的确立

1.概念廓清:欧盟法上的自动化决策、画像以及我国法上的自动化决策

自动化决策过程与人类决策过程原理有相似性。美国空军飞行员兼战略家约翰·博伊德(John Boyd)曾以四个步骤提炼出人类的决策过程:观察、定位、决定、行动。一个人首先观察其周围的世界,通过人类感官收集其所处环境的数据;其次,确定自己的方向,或分析解释收集到的信息;再次,根据自己积累的知识权衡可能采取的行动,并决定如何采取行动;最后,采取行动,或执行所作的决定。该决策方式被称为OODA步骤。自动化决策在很大程度上依赖于机器的参与,包含了OODA步骤中的前三个步骤——数据收集(观察)、信息分析(定位)、决策选择(决定)。

欧盟法规定的自动化决策(automated individual decision-making)及画像(profiling),以及我国法上的自动化决策,在各自的语境下有不同的意涵,对这一组概念的厘定和廓清,有助于后续的比较研究。首先,欧盟法语境下的自动化决策与画像的范围不同但也有重叠。《欧盟一般数据保护条例》中的自动化决策全称为基于自动化处理的决定,在早前的《个人数据处理中的个人保护公约》中,自动化处理是指全部或部分通过自动方式执行的操作,包括数据的存储、数据的逻辑和/或算术上的处理、数据的更改、擦除、回复或传播。而《欧盟一般数据保护条例》第4条第4款的画像是指为了评估自然人的某些条件而对个人数据进行的任何自动化处理,特别是为了评估自然人的工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为方式、位置或行踪而进行的处理。因此,自动化处理包含了画像,但有些自动化处理并不是基于画像作出的,比如对超速的机动车记分罚款,识别的是车牌号而非个人。

欧盟立法曾就应当仅对基于画像的自动化处理还是对更大范围的自动化处理进行规制有过很大的争议,2012年《欧盟一般数据保护条例》草案第20条的标题曾是基于画像的措施measures based on profiling),但在2016年的正式文本中范围扩大为更大范围的自动化处理。我国法上,自动化决策是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。该条的定义与欧盟基于画像的决策的内涵和外延趋于一致,细微的差别是欧盟的画像不一定是为了决策的目的。由此可见,我国的《个人信息保护法》第24条第3款的适用范围略窄于《欧盟一般数据保护条例》第22条第1款。

2.权利保护与产业发展间的精细平衡

我国《个人信息保护法》第24条第3款上的拒绝完全自动化决策权,相较《欧盟一般数据保护条例》第22条第1有权不受拘束的模棱两可而言,更为直观地表现为一项权利,法律预设的立场和价值导向是对完全自动化决策的默示允许。拒绝权的权利本位思路与《欧盟一般数据保护条例》义务本位的立场恰好相反,有学者认为欧盟对完全自动化决策的一般禁止,从长远看有可能会阻碍科学技术的发展和创新。而我国对自动化决策规制时日尚短,如果一味照搬照抄欧盟禁令式立法可能对产业和整个国民经济产生不可估量的负面影响。因而,我国《个人信息保护法》更倾向于在保护信息主体的基础上平衡人工智能产业发展。

此外,对重大影响的判断标准的转变,从侧面也反应了我国立法对人工智能产业的保护。《个人信息保护法(草案)》一审稿中,个人认为自动化决策对其权益造成重大影响的,有权拒绝完全自动化决策。而在二审稿中,该条改成了通过自动化决策方式作出对个人权益有重大影响的决定,个人有权拒绝个人信息处理者仅通过自动化决策的方式作出决定,这一表述最终延续到了正式的法律文本中。一审稿中,个人认为采取的是完全的主观标准,只要个人主观上感受到完全自动化决策对其权益造成了重大影响,就可以行使其拒绝权;而二审稿和正式稿则将主观上的个人认为的表述改为一种客观陈述,实则是对请求拒绝权的证明标准的提高,也无形中提高了该条款的适用门槛。证明造成重大影响,经历了从主观标准到客观标准的转变,不能仅凭主观认为,而需要证明客观上确实给信息主体带来重大影响,无疑增加了个人举证质证的难度。

对完全自动化决策的不同态度,背后蕴含着差别化的价值倾向:禁令解释从决策者义务本位出发,实则倾向于加强个体的权益,欧盟立法采取这一模式;权利解释则是在人工智能产业发展和个体权益保护之间试图进行微妙平衡,对基于完全自动化决策的方式作出决定并没有法定的禁止,只是在涉及信息主体重大利益时,赋予信息主体有权拒绝该决定对其的影响,我国采取了这一模式。


四、完全自动化决策拒绝权之实现路径

欧盟不受完全自动化决策约束权是对数据控制者施加的一项义务,是为了实现在决策的环路中有的存在,因此,是法定的主动的人在环路。我国的完全自动化决策拒绝权是一项信息主体的权利,该权利是为保障主体的自主参与而设置的。学界对赋权模式多有批判,认为因个体能力和算法黑箱等问题,会导致个人行权难。权利模式的上述短板确实无法回避,但在承认实在法的前提下,如何通过合理解释使权利模式更为有效保障个体权益,方是讨论的起点。因此,需进一步追问的是,保障信息主体参与的拒绝完全自动化决策权,与以实现人在环路为目标的信息处理者的干预义务,能否达到同样的法律效果?

    (一)拒绝完全自动化决策权的适用要件和法律效果

  1.适用要件

  根据《个人信息保护法》第24条第3款的文义,拒绝完全自动化决策权的行使需满足两项前提,分别是:(1)仅通过自动化决策的方式作出决定;(2)对个人权益有重大影响。目前相关司法案例缺乏,因此,下文将结合《欧盟一般数据保护条例》的评注观点及我国目前已公开出版的法律释义书展开论述。

   1)必须是仅通过自动化决策的方式作出决定。

      对该要件的理解应当分为三个子要件:第一,自动化决策的范围和边界。如上文所论,《个人信息保护法》第73自动化决策的范围,大致等同于欧盟法上的画像。而《欧盟一般数据保护条例》上第22条第1款的适用范围包括画像但不限于此,因此,有两种情形可以被归入欧盟法上的自动化决策范畴,但并非我国法上的自动化决策:一是通过非个人信息进行的分析,比如直接对违反交通规则的车辆进行的罚款;二是通过对他人信息的识别分析而进行的决策,比如对某校上一年度学生升学情况的分析评估,继而对该校本年度的学生的某些决定。

  第二,仅通过自动化决策的方式意味着没有处理者参与其中对决定的内容进行评估。仅通过自动化决策的方式即完全自动化决策,该要件的触发对该条的适用至关重要,欧盟过往实践中,具体案件是否应当适用《欧盟一般数据保护条例》第22条或《欧盟个人数据保护指令》第15条,焦点往往会转移到判断作出决定的系统是否是建立在完全自动化之上。当自动化决策只是一种决策的支持或辅助工具时,自动化处理就不属于第22条第3款的适用范围。从逻辑上区分完全自动化决策和混合决策似乎是可能的,但实际上两者之间的界限相当模糊。欧盟第29条工作组认为,控制者不能通过捏造人的参与来避免第22条的适用。如果人在决策过程对结果没有任何实际影响,那么这仍然是一个完全基于自动处理的决策。因此,判断是完全自动化决策还是混合决策,除了从形式外观上明确是否有信息处理者参与决策过程之外,还必须确认参与的实质效果,处理者应该有权力和能力改变决定,必须确保处理者对决策的监督和判断都是有意义的,而不仅仅是一种象征性的姿态。正如门多萨和拜格雷夫所指出的,只要最终决定是由人类对决定的是非曲直进行控制,决策过程的大部分甚至主要部分是自动化的,这一事实不会导致第22条的适用

  第三,对决定的理解。一方面,作出决定作出的决定文义不同,前者侧重于作出决定这一动作,强调了动态性;而后者则强调了作出了决定这一静态的结果,显然,《个人信息保护法》第24条第3款明确表达为作出决定。比如贷款人向银行申请贷款,完全自动化决策作出的决定有可能会对个人造成重大影响,那么信息主体对这种仅通过完全自动化决策的方式作出决定就可以拒绝,决定是否已经作出无关紧要。另一方面,决定是指由一个主体对一个特定的对象所采取的行为,而这一行为会对这个人产生法律影响。作出决定是单方面的行为,只要对个人采取了一种特定的态度或立场,而这种态度/立场具有一定程度的约束力,或至少可能会根据这种态度/立场来采取针对个人的行动。一旦存在这种可能性,就是该条所谓的决定。

  (2)该决定需对个人权益有重大影响。

  首先,《个人信息保护法》并未对重大影响给出定义或作出明确列举,重大影响标准与《欧盟一般数据保护条例》的法律效力类似重大效力相比,其内涵和外延具有更大的不确定性,需要进行个案衡量。具有法律效力或类似重大效力是指该决定改变、塑造或以其他方式部分或全部地决定一个人的法律权利或义务,或其带来的后果对一个人的福利产生严重不利影响。欧盟第29条工作组也认为,当决策可能对相关个人的情况、行为或选择产生重大影响时,符合法律效力类似重大效力的要求。而重大影响指的是对数据主体产生长期或永久影响,或在最极端的情况下导致对个人的排斥或歧视。欧盟对重大影响法律效力类似重大效力关系的解释未免有循环论证的嫌疑,但对我国有借鉴意义的是,重大影响的判定,应当结合场景进行分析,并考虑个人信息保护影响评估,如考虑信息主体身份、信息处理者的权威能力,信息性质和类别等,更为全面、综合地考虑影响之程度,而不能仅简单地从量化损失的角度予以认定。

  其次,我国立法中,从草案一审稿到二审稿到正式稿,对于是否构成重大影响的标准发生了从主观到客观的转变,上文已详细展开,此处不再赘述。但笔者以为,除了考虑客观上的多数人的观点,也应兼顾信息主体自身对重要影响的态度和情绪,也即主客观相结合的考量。比如信用申请完全根据自动化决策的方式拒绝了申请人,但并未引发申请人任何情绪上的不满,在这种情形下,重大影响显然依据不足。同时,还需要考虑信息主体的身份特质,比如信息主体是否是未成年人,其脆弱性可能会导致更容易受到特别影响。强调这一点并非明确针对未成年人的自动化决策的禁止,而是要求在信息处理过程中,有更为严格的要求和更强的国家保护,尤其是当这些决定可能会造成重大影响的时候。

  最后,我国《个人信息保护法》第24条第1款明确禁止了大数据杀熟。大数据杀熟是通过掌握消费者的经济状况、消费习惯、对价格的敏感程度等信息,对消费者在交易价格等方面实行歧视性的差别待遇,误导、欺诈消费者。大数据杀熟的影响一般而言是金钱上的,但不合理的”“歧视性的等限制性定语明确了对大数据杀熟并非一般禁止,而是必须达到了不合理的和歧视性的程度的时候。具言之,不合理指的是差别待遇过大,大到超出合理人的认知;歧视性是指已经超越了金钱上的差别对待,而是上升到了对人格、尊严等待遇上的差别。因此,《个人信息保护法》第24条第1款中的大数据杀熟情形,当然属于该条第3款中的对个人权益有重大影响

  2.法律效果

  有不少学者指出,第22条第3款的拒绝完全自动化决策权实际上是针对个人信息处理者自动化决策的行为而作出的一种反射机制,是一种事后救济,仅限于行为发生以后,而非贯穿始终的个人参与。笔者以为,这一观点有待商榷,首先,仅将拒绝完全自动化决策权理解为一种事后救济,无法达到欧盟不受完全自动化决策约束权保持人在环路的法律效果。待决定作出以后,信息主体才进行拒绝,也限制了个人参与的范围,无法保障真正的自主。其次,实际上事后救济的观点是对有权拒绝……作出决定有权拒绝……作出的决定的混淆,后者是对结果的拒绝,法工委立法释义书认为,拒绝自动化决策权的实质,是赋予个人要求对自动化决策进行人工干预的权利,即要求个人信息处理者对自动化决定进行人工干预,复核自动化决策结果是否基于准确、完整的个人信息公平、公正作出,并可以要求更正错误或不当的决策结果。从法工委的表述可以看出,立法并未将拒绝完全自动化决策权限于事后救济,因此,对有权拒绝……作出决定可以分为事前拒绝、事中拒绝及事后拒绝三个阶段,也会导致三种不同的法律效果:

  其一,在完全自动化决策开始前已对采用完全自动化决策的方式处理个人信息知情,拒绝意味着处理行为不得发生。此种情形下,拒绝完全自动化决策的行为的发生和第44条的拒绝对个人信息进行处理实际上发生法规竞合,第24条第3款及第44条均可以成为请求权基础。

  其二,在完全自动化决策过程中知道了采用的处理方式是完全自动化决策的方式(比如因疏忽大意的过失之前未了解)。在此情形下,拒绝首先意味着处理必须暂时停止,如果在处理者进行解释说明后,信息主体作出了明确的可继续处理的意思表示,那么该处理行为仍可继续;但如果信息主体依然拒绝完全自动化决策的处理方式,那么继续进行处理的前提是信息处理者必须进行实质意义上的人为的干预。

  其三,在决定已作出后,方了解到该决定是基于完全自动化决策的方式所作出,在这种情形下的拒绝直接可以令该决定不发生法律效力。以个人申请银行贷款场景为例,如个人在完全自动化决策的情形下收到了拒绝贷款的告知,其有权拒绝个人信息处理仅通过自动化决策的方式作出决定,直接导致的法律后果是该决定不对申请人发生法律效力。此外,既然信息主体对该决定有异议,一方面可以根据第24条第3款的说明权要求处理者进行解释说明;另一方面,既然基于完全自动化决策的决定不发生法律效力,信息主体有权利要求重新进行决策,但新的决策应当为混合决策。

  因此,信息主体在整个自动化决策中的参与,并非是全有全无的选择,而是在一个循环过程中不断分阶段、分场景、分情况进行的主动参与,显然这种参与的前提是知情。分阶段分析拒绝权在不同情形下的作用和法效果,对于理解拒绝完全自动化决策权的权利性质有重要的意义。从解释论上,第24条第3款的拒绝完全自动化决策权应当被解释为请求权,从法工委释义书的表述看,该权利系请求权,实质是赋予个人要求对自动化决策进行人工干预的权利。显然,信息主体一旦对完全自动化决策知情,即可自主决定是否拒绝,该拒绝一旦作出,对信息处理者即产生两个层面的法律后果:一是不为的层面,如果该处理并未开始,则不应开始;二是的层面,如果处理已经开始,作为相对方的信息处理者应立即停止该行为,并经信息主体的要求进行人工干预。《欧盟一般数据保护条例》第22条第3款中例外情形下需要的保障措施,包括进行人为干预、表达观点、对决策进行异议三项基本权利。未来我国对该条进行司法解释的时候,可以参考欧盟法上这三项基本权利的设置。

    (二)拒绝完全自动化决策权与其他信息主体权利的关系

      为保证决策的透明度和结果的公平、公正,除拒绝完全自动化决策权之外,信息主体还享有第24条第3款项下的要求说明权;此外还应当享有个人信息保护法上赋予信息主体的所有其他权利,包括知情权、限制权、拒绝权、查阅复制权、更正补充权、删除权等等。如何协调和厘定拒绝完全自动化决策权与同条同款的说明权的关系,以及与其他个人在个人信息处理活动中的权利的关系,是在权利行使时必须考虑的问题。

  1.与第24条第3款要求说明权的关系

  要求说明权与拒绝完全自动化决策权规定在同条同款,即第24条第3款中的个人有权要求个人信息处理者予以说明通过自动化决策方式作出对个人权益有重大影响的决定是两项权利的共同前提。但两者的关系需要详究。首先,要求说明权不是拒绝权的前置权利,相反,要求说明权和拒绝权是并列的权利,二者可以同时行使,也可以单独行使。当然,信息主体行使拒绝权不受要求说明权的约束。

  其次,与拒绝完全自动化决策不同的是,第24条第3款的要求说明权是一种受限的解释权,在实践上仅针对作出决定后的解释说明。理解为事后说明权的理由有二:第一,从文义上,要求说明权针对的是对个人权益有重大影响的决定,该决定应当是已经明确作出的。《互联网信息服务算法推荐管理规定》第17条第3款也明确规定:算法推荐服务提供者应用算法对用户权益造成重大影响的,应当依法予以说明并承担相应责任。该条对算法推荐服务提供者施加了事后的说明义务,侧面体现了要求说明权的事后性。第二,适用范围上,说明权并不限于完全自动化决策,尤其是针对混合决策这种风险相对较小的自动化处理,如果要求说明权无论在决策前、决策中、决策后均可以行使,很可能导致权利的滥用。但是,虽然对自动化决策的要求说明权仅限于事后,且有明确的限制条件,但是《个人信息保护法》第48条的解释说明实则是对该条的补强,但是两项说明权的具体关系和适用范围,还需进一步的研究论证。

  因此,如果一项完全自动化决策的决定对信息主体产生重大影响,信息主体以第24条第3款作为请求权基础,可寻求两种不同的保护模式:一是通过要求说明权,要求信息处理者对决策过程作出解释,信息主体有权知道某一特定过程的存在,并了解其逻辑、意义和后果。二是通过拒绝权使该决定不发生法律效力。当然两种保护模式也可兼用。

  2.与个人在个人信息处理活动中的权利的关系

  拒绝完全自动化决策权并未规定在个人在个人信息处理活动中的权利章节,相反,该条所处位置在个人信息处理规则——一般规定一章中,该章所规范的主体均为个人信息处理者(如《个人信息保护法》第16—18条、第20—27条)。而第24条第1款和第2款本身也是以个人信息处理者的义务为核心,因此,第24条第3款规定的权利在体系上存在一定的不协调。一方面立法者可能是考虑到同样是对自动化决策作出的规制,且与前两款之间有所牵连,故在其他章节另设一条必要性不大;另一方面,该条表述上虽然是权利,但是从体系解释上来说,亦为处理规则的一部分,且该权利的行使与该条下的个人信息处理者的行为和义务规范相互配合。拒绝完全自动化决策权在处理规则一章,显然无法自成一体,其实际上并不是一项完全的权利,行权需要与在个人信息处理活动中的其他权利互相配合,打出组合拳。这些权利共同组合成信息主体享有的权利,服务于保护个人信息权益的立法目的,因此,就权利和权利之间的关系,也有必要进行梳理,以下择相关性较强的几项予以展开。

  (1)与第44条拒绝权的关系。

  个人信息处理活动包括了个人信息的收集、存储、使用、加工、传输、提供、公开、删除等,其范围显然远大于利用个人信息自动化决策。因此,第24条第3款的拒绝权是第44条拒绝权在自动化决策场景下的体现,两者存在一定的竞合关系。第44条的拒绝权是对任一处理行为的拒绝,而第24条的拒绝权是在法定条件下对完全自动化决策的行为或决定结果的拒绝。

  (2)与第44条知情权的关系。

  知情权,是指个人在其个人信息处理中享有知悉相关情况的权利。知情权在个人信息保护法中是一项基础性权利,没有知情,就没有后续的决定、限制、拒绝等等权利。知情权在自动化决策中体现为要求说明权,只是要求说明权适用范围较为狭窄,因此拒绝自动化决策权与知情权的关系,可参照与要求说明权的关系。

  (3)与第47条删除权的关系。

  完全自动化决策拒绝权的法律效果,可能符合启动删除权的法定情形。具言之,完全自动化决策事前、事中、事后的拒绝,会导致处理行为的不发生、行为的暂停、决定的不发生效力,信息处理者若未通过混合决策的方式另行进行处理,则处理目的可能无法实现(第47条第1款第1项)或个人信息处理者停止提供产品或服务(即终止处理,第47条第1款第2项)。

  回归先前的问题,笔者以为,拒绝完全自动化决策权是一项个人参与的权利,可被视为被动的人在环路。正如前文所论述的,欧盟的人在环路是通过数据控制者的义务——即确保混合决策来实现的,是一种主动的数据控制者干预。而我国的拒绝完全自动化决策权,必须解释为一项分阶段、分场景的拒绝权,而非仅仅事后才能行权,这样才能保障信息主体在环路中的全面个人参与。一方面,通过信息主体对完全自动化决策的拒绝可能导致的处理无法开始、暂停或决定无法律效力等法律后果,对信息处理者起到一种震慑作用,使得信息处理者会审慎选择通过完全自动化决策的方式对个人进行决定;另一方面,信息主体行使拒绝权的法律后果还包括了要求处理者人工干预。虽然略有迂回,但拒绝完全自动化决策权其实可以起到类似的人在环路的效果,保障信息主体不被视为客体来对待。


结语

最初欧盟立法规定不受完全自动化决策约束的时候,可能也并未清晰地意识到该条的适用空间,故而在其后的二十多年,该条甚少被启动,几乎沦为了僵尸条款,少数几个案例也是侧重讨论案件中是否使用了完全自动化决策,脱离了本条规定的真正意旨。但如今神经网络、深度学习、机器学习、数据挖掘等等自动化技术不断朝着更加先进、复杂和自主的方向发展,早已今非昔比,在很多场景中,完全自动化行政、完全自动化决策早就已经不是未来,而是现实。《欧盟一般数据保护条例》在立法中依然坚持了《欧盟个人数据保护指令》的立场,将完全自动化决策视为洪水猛兽,采取一般禁止的态度进行规范,从外观上是对个人的强化保护,但是该保护能否达到其想要的维护人的尊严的效果,还有待观察。但无疑,对于完全自动化决策的否定和禁止,很可能会导致技术最终只停留在实验室的层面,而无法进行推广和适用,从科学技术造福于整个人类福祉的角度,未免武断。因此,我国并未全盘接受和照抄欧盟模式,没有直接一般禁止完全自动化决策,而是通过赋予个人在完全自动化决策中的拒绝权,将权利启动的主动权交给了信息主体,为人工智能发展提供了可能。同时,我国将拒绝完全自动化决策权扩展到完全自动化决策的过程始终,达到了和欧盟人在环路近似的法律效果。

但对于我国立法中规定的完全自动化决策拒绝权,也不应有虚幻的不切实际的幻想,如果要切实保障信息主体的权益,必须结合法律中的其他权利共同配合以起到相应的作用。如果知情权得不到保障,何谈拒绝?如果删除权无法保障,拒绝了又如何?因此,行权难,环环相扣的行权更难,只有构筑起信息主体在信息处理活动中权利的多维屏障,才能真正保护个人信息权益。