高级检索

学术资源

部门行政法学

当前位置: 首页 -> 学术资源 -> 部门行政法学 -> 正文

肖冬梅:“后真相”背后的算法权力及其公法规制路径

信息来源:《行政法学研究》2020年第4期 发布日期:2020-08-05

“后真相”背后的算法权力及其公法规制路径

肖冬梅

(湘潭大学法学院教授)

【摘要】操控民意是驱动“后真相”的关键力量,其实现有三步:先根据数据隐私群分选民,形成有不同偏向的群体;再利用个性化算法实现“千人千面”的信息推送,构筑信息茧房;最后通过精心选择、制作内容以搭售操控者意图,引导选民群体投票。算法本身不透明导致算法黑箱乃至算法霸权,数据本身又带有社会固有的不平等、排斥性和歧视痕迹,算法权力得以形成。算法权力带来的风险主要体现在:信息茧房效应蕴含群体极化之虞、 “后真相”导致民主选举告急、“人群捕捞”恐慌冲击正常交易秩序、“算法共谋”催生限制竞争与垄断风险、算法偏见与歧视加剧社会结构固化。推动“后真相”的算法权力兼具软权力和资源权力属性,是一种弥散性权力。算法权力亟待技术与法律联袂治理,公法应主要通过强化行政监管权和国家数据主权来规制算法权力。

【关键词】后真相;算法权力;公法;规制路径


与2016年欧美政治领域三大黑天鹅事件——“特朗普当选美国总统”、 “英国脱欧”、“意大利修宪公投失败”几乎同时令世人侧目的,当属“后真相”一词。虽然早在1992年“后真相(Post-Truth)”这一表达就已出现在美国《国家》杂志,2004年《后真相时代》(The Post-truth Era)一书也已问世,但直到 2016年这个原本令人并不太在意的词汇才成为英美政治评论的热词,《牛津英语词典》将其选为2016年的年度词汇。

“Post-truth”中的 “post”意指 “超越”,即“真相”不再那么重要。《牛津英语词典》将其解释为:“客观事实的陈述,往往不及诉诸情感和煽动信仰更容易影响民意”。事实上,“后真相”现象不只出现在欧美大选和公投中,在全球各主权国家的社会政治生活中这种现象越来越司空见惯。伴随“后真相”时代的到来,原本支撑真相的两大基石崩溃,即作为普世性的理性原则以及作为经验性数据收集、统计、分析的客观性结论被广泛质疑。“后真相”背后是什么力量在操控民意、引导舆论?这种力量对人类社会意味着什么?是否需要规制这种力量?带着这三个问题,本文不辞浅陋,试图给出自己的解读,以期抛砖引玉。


一、“后真相”时代民意如何被操控?


英国Cambridge Analytica公司擅长运用大数据分析人的心理并引导群体行为,其在特朗普当选、推动英国成功脱欧等政治事件中功不可没,可谓“后真相”时代的重要推动者。Cambridge Analytica公司曾宣称其使用数据驱动通信的革命性方法,成为特朗普胜选中不可分割的部分。事实上,英美多起大数据驱动的政治事件意味着,看似客观的数据与算法,并不一定带给选民真相,也有可能引领选民步入误区,选民的自由选举权都可以被精准操控。那选民是如何一步步地被引导和操控的呢?条分细缕可知,这个过程涉及三个核心步骤:一是根据数据隐私类分选民形成有不同偏向的群体;二是利用个性化算法实现“千人千面”的信息推送构筑一个个“信息茧房”;三是通过精心选择、制作内容以承载操控者意图,引导选民群体进行投票。

(一) 依据在线裸奔的数据隐私类分选民

随着智能终端的深入渗透和广泛应用,各种数据被永不停歇地记录、上传、挖掘,人与人之间直接交流的范围在缩小,而人机交流(包括人-机-人模式)的范围在扩大,我们每天通过机器跟他人接触,从日常的打招呼、聊天、点赞、评论乃至互怼。大数据本质上意味着我们所做的一切,无论是线上还是线下,都留下了数字痕迹。通过跟踪数据痕迹进行数据画像能够呈现用户的姓名、性别、年龄、兴趣、学历、职业、信仰等客观状态,再借助心理学知识和模型准确地“画出”用户主观上的偏好,结合用户的客观状态与主观偏好,从而群分用户。基于用户行为数据的分析,把不同性格的用户归为不同的群组,更能实现后续的精准推送。

(二) 个性化算法推荐使得“信息茧房”“回音室”效应加剧

目前的个性化推荐算法大致可以分为四类,即基于人口统计学的推荐、基于内容的推荐、基于关联规则的推荐以及协同过滤,有些社交媒体、聚合平台乃至民意操控者不仅善用这些方法进行个性化推荐,甚至还能很好的结合用户性格特征进行有针对性的信息推送。专利申请 “一种基于OCEAN模型的个性化推荐的方法与流程”就详细地描述了如何结合用户性格实现个性化的精准推荐。这类专利申请目前增长颇快,这意味着其广泛应用将接踵而至。

美国学者尼葛洛庞帝在其1996年出版的《数字化生存》中曾经预言了数字化时代个性化服务的可能,并将之命名为 The Daily Me。但由于技术的限制,基于算法的个性化服务直到如今才变得普遍,尤其是随着算法个性化推送资讯常态化,“信息茧房”、“回音室”效应加剧,成为社会关注焦点。譬如《今日头条》运用算法进行“千人千面”的个性化信息推送,短短五年成长为当今中国最大的资讯分发商。全球最大的社交媒体平台Facebook也早已在娴熟地运用算法。2016年8月Facebook解散其“热门话题(Trending)”团队,决定根据该话题的帖文数量和相关文章数等,转而由算法执行编辑、推荐和排名,取代人工编辑。根据用户偏好提供基于算法的精准推送已成为诸多媒体的惯常做法,这使得算法主导和控制了社交媒体上的信息传播,其积极的影响体现在提升媒体的影响,如《纽约时报》通过算法推送文章,用户点击率因此提高了38倍。但如影相随的消极影响也不容忽视。伴随着资讯个性化推荐算法的一个重要话题是美国学者桑斯坦提出的 “信息茧房”问题,“信息茧房”是对 “选择性心理” 及其结果的形象表达, “信息茧房”里的人只听自己所选和愉悦自己的东西。虽然人的选择性心理从来就存在,但这种心理会随着个性化推荐算法的运用而被强化。每个人都有自己的阅读偏好虽属正常,但若每个人的关注点都限缩在其兴趣范围之内,对自己兴趣之“茧”外的世界越来越缺乏了解,共同 “视角”因此缺乏,久居茧内的人们对事实的判断也日益会出现程度不同的偏差,在进行公共对话时共识将越来越难以形成。加之封闭狭隘的信息环境会进一步固化人们的思维与立场,构筑了“信息茧房”“回音室”的组织,进行决策时不会受到内部的充分挑战,就不可能考虑周全,其决策往往蕴含着潜在的风险,其先入之见将逐渐根深蒂固,这不管是对于私人还是公共机构都是十分可怕的。

(三)精心选择、制作的内容承载着操控者的意图引导选民群体

由个性化算法实现“千人千面”推送的资讯,不止是选民兴趣之所系,更承载着操控者的意图,“裹挟着情绪,灌输着观点”,“被精心选择、制作出来的内容更像是用来售卖的情绪以及观点,去按摩和取悦那些本来就有偏向的群体,而阅听人并非没有付费,他们的阅读、转发、评论……此种流量都是所付出的代价。”对于有偏向的群体或个体而言,资讯内容的正确与否不再重要,其在意的是通过转发、评论所呈现的自我的态度,所获得的安抚。事实本身不再受到人们的关心,大多数人选择奉情感为圭臬,更在意自己的价值期待。

利用算法可以做到让特定的人看到或看不到特定的内容,如在2016年的美国大选中只有非裔美国网民才会看到希拉里称黑人为“捕食者”的视频。由于非裔美国人这个群体十分排斥类似“捕食者”的歧视,这种定向投放特定内容的做法,其结果是引导特定群体排斥希拉里,支持特朗普。加之Facebook热门话题版块针对希拉里的谣言颇多,针对希拉里的虚假新闻被有预谋或者情绪性地分享。在这起黑天鹅事件中,Cambridge Analytica公司的助力非常关键。


二、推动“后真相”的算法权力及其属性


推动“后真相”现象产生的重要力量是一种新型的权力——算法权力。随着物联网、人工智能(下文简称AI)等技术的迅速发展与广泛应用,智能算法日益成为各个领域的高效决策工具。AI时代,由大数据驱动的算法已经成为新的权力代理人。尼葛洛庞帝20年前的论断——“计算不再只是和计算机有关,它决定我们的生存”正在被验证。而真正让大众深刻理解这个论断,是到了我们现在所处的这个时代,如今由大数据喂养、因算法成就的AI正由弱变强,智能算法日益成为决定我们生存方式的重要因素。虽然当前大多数的算法尚未真正智能,但在现实需求刺激下,算法已成为现代社会的主导力量。由此,算法被视为一种社会权力。正如英国学者Scott Lash所言:“在一个媒体和代码无处不在的社会,权力越来越存在于算法之中”。

(一)“后真相”的推动力量——算法权力

权力是指人对人的支配与被支配、控制与被控制的关系。迈克尔曼在《社会权力的来源》一书中指出,权力是通过支配人们的环境以追逐和达到目标的能力。在美国大选中,Cambridge Analytica公司之所以能影响选民,是因为借助数据画像他们能准确判断不同人群的心理,利用智能算法实现个性化的定向推送,控制目标人群所感知的信息环境,从而影响目标人群的认知和态度。在这个过程中,智能算法是这种支配、控制和引导得以实现的关键。因为算法才可以做到区分有不同偏向的人群、把相同偏向的个体集中在“信息茧房”或“回音壁”中,才可以让特定的人看到或看不到特定的内容,实现持续动态的“千人千面”的个性化信息推送,这事实上是通过算法达到对目标人群的人为的支配和控制。

与“后真相”问题最为相关的哲学渊源是尼采对事实真相客观性的挑战。尼采认为“视角是所有生活的基本条件”,其著名论断“没有事实,只有阐释”被哲学界称为“视角主义”,为人类社会步入后真相时代埋下了伏笔。根据尼采的观点,视角主义与后真相问题有一个重要的关联线索,即“视角制造事实”,在尼采看来,“没有独立于视角的真实世界”,“事实”在一定意义上是“视角”所制造的。Cambridge Analytica公司在多起政治事件中一直致力于“制造”选民的 “视角”,然后将符合选民视角的“事实”进行定向推送,虽然选民接受到 “事实”似乎是客观的,但精心筛选过的“事实”却是不全面的,正如我们从不同角度观察杨桃,将会看到不同形状的杨桃一样,单一视角的观察存在信息不对称的局限,因信息不对称造成误判是显而易见的,当经过精心筛选乃至制作,看似客观的事实被放置在选民“视角”下,无疑会影响其主观判断和态度。中国学者刘擎认为,真相的“客观性”依赖于“共同视角”。美国学者约翰.基恩也指出,最终关于真相的认同还是取决于人们的共识和信任。但各种主体都在借由算法的力量,来制造符合自己所需的信息环境和意见格局,数据和算法成为权力博弈的武器,共识的发现与形成困难重重。

法国哲学家福柯认为:“话语即权力”。社交媒体的兴起与广泛运用,导致人类话语权的又一轮博弈。强调“准确”“客观”“公正”“深入”“监督”以及“社会责任”的传统新闻媒体人让位于关注“痛点”、“产品”、“用户需求”、“情绪”、“商业模式”的互联网内容创业者,“商业主义统合,专业主义离场”。新媒介的产生昭示着人类感知和认识世界新方式的开创,人类的感觉、人与人之间的关系随之发生改变,新的社会行为类型出现。新的权力中心在新媒体中出现,并在现存的主导型威权结构内引发日趋激化的紧张状态。“后真相”现象就是在这样的社会场景下应运而生。

(二)算法权力的属性

自动化决策的算法既在商业部门广泛使用,又深度参与了公共部门的决策。在商业部门进行算法自动化决策的多为有粘度的平台公司,平台与用户间的格式化协议,为彼此确立了权力支配关系。格式化用户协议一般不是协商的结果,而是由平台方提供,用户方被动接受,因而平台方享有充分的话语权和解释权,用户则完全处于被裁决的弱势地位,二者之间形成一种极不对称的权力关系。随着算法逐渐有了自主性和认知特征,甚至具备了自我学习的能力,算法将不再是纯粹的工具性角色。公共部门多指运用公共权力对社会进行管理的政府部门,在利用算法进行自动化决策的场景下,政府部门与民众之间是典型的权力支配关系。

(1)算法权力兼具软权力和资源权力属性。罗伯特基欧汉和约瑟夫奈将权力区分为行为权力和资源权力,而又将行为权力分为硬权力和软权力。“硬权力”是指传统的强制性军事、经济权力等,“软权力”(soft power)是指影响他人“自愿”行事的能力,如修昔底德的观念力量、哈贝马斯的交往权力等。算法权力兼具软权力和资源权力的特质,并非迫使他人去做其不想做的事或不做他想做的事,而是通过迎合偏好、抚慰情绪来吸引、引导他人做其想做的事,从而实现操控目的。

(2)算法权力当属弥散性权力。迈克尔·曼曾区分了两种相对应的权力类型——权威性权力和弥散性权力。权威性权力由明确的命令和有意识的服从组成。而弥散性权力则是以一种更加本能的、无意识的、分散的方式分布于整个人口之中,其所包含的不是命令和服从,而是一种理解,即这些实践是自然的、道德的或是从不言而喻的共同利益中产生的。弥散性权力在整体上体现了其中的集体性权力比个体性权力占比要更大,但其并非一成不变。

算法的目标受众分布广且分散,从权力属性来看算法权力当属弥散性权力。弥散性权力分散在特定场域的整个人群之中,其大小与同时参与的人数成正比。随着社交媒体的发达与被大众作为交流工具广泛利用,其同时段或阶段可集合以响应弥散性权力行为的人数几何倍于现实社会,因此这种弥散性权力所蕴含的力量远非以往任何一个历史时期可比。2016年以来全球民主政治领域的几大“黑天鹅事件”给世人的告诫之一便是这类弥散性权力的威胁切不可等闲视之。

区别于政治学中自上而下的操控和支配,算法权力在实际运作中的网络结构化和弥散性,使得其成为一种如福柯所言之“无所不在的权力”。大众传播机制在新技术环境下受到严重冲击,基于社交网络和算法的内容分发,正在成为大众传媒的新模式,但大众传媒的社会整合功能不应因模式转换而削弱或消失,能将各种人群整合起来的公共信息和公共议程仍需到达最广泛的人群,我们应警惕个性化算法可能带来的“信息茧房”问题。事实上,如果算法运用得当,反过来算法也可能成为刺破信息茧房的利器。


三、算法权力滥用的潜在风险


当前算法权力带来的风险,包括但不限于以下五个方面:一是资讯传播领域的“信息茧房”效应日益加剧蕴含群体极化风险;二是民主政治生活中的“后真相”现象频现导致民主选举告急;三是日常交易与消费中的“人群捕捞”恐慌挥之不去;四是“算法共谋”正催生出新的限制竞争与垄断风险;五是因算法偏见、歧视带来的社会结构固化趋势愈加明显。

(一)“信息茧房”“回音壁”效应加剧蕴含群体极化风险

大数据时代,人类逐渐放弃直觉和经验,选择相信自动化的算法决策。如今,数据为原材料,算法乃加工厂,各类新闻App合力实现“千人千面”的资讯推送,形成了一个个信息茧房,安于信息茧房的你我,每天接受的是算法筛选过的信息,算法只会保留和推送给我们感兴趣的信息,在日复一日的重复中,固化我们的偏见与喜好,我们就不再能接受异质化的信息和不同的观点。

“信息茧房”“回音壁”一旦形成,意味着进入了一个封闭系统,这个封闭系统内的群体成员与外部世界的交流会大幅减少、群体成员的观点和见解趋同,沉浸在自我的话语场中,脱离社会,听不进异见,长此以往,成员会产生盲目自信、心胸狭隘乃至偏激心理。“信息茧房”“回音壁”效应会导致群体极化和社会粘性的丧失。

(二)“后真相”现象频现导致民主选举告急

与军事权力相同之处在于,算法权力在不同场景之下亦有正义与非正义之分。算法有时是正义之师,有时难免为虎作伥。根据美国白宫2014年发布的大数据研究报告,算法歧视可能出于无意,也有可能是蓄意对弱势群体的盘剥。因为算法并非一种完全价值中立的科学活动,相反,不少算法隐藏着价值判断,隐含着歧视与不公,更有算法承载着利益集团的意志操控。

数据本身虽不会说谎,但使用数据的人可能会说谎。根据各自不同的立场和利益考量,理性的人会在不自觉中选择对己有利的数据,而排斥对己不利的数据,数据清洗和筛选成了消除异见的武器。数据画像、算法的运用并非旨在客观地表征相对人的行为或社会实在,而在于影响、控制和调节被描述或评价者的行为,其中时而渗透着算法主导者的意图。Cambridge Analytica公司2016年利用Facebook用户数据进行精准推送助力特朗普竞选,将美国人口分为32类性格特征,并集中关注其中17个州,基于一个App应用,特朗普竞选团队对每栋房子里住户的性格、喜好都了如指掌,并向目标受众有针对性地推送承载其操控意图的信息。这种悄无声息的民意操控对民主政治而言,蕴含着显而易见的巨大风险,直接挑战与威胁着人类社会的既有秩序。

(三)“人群捕捞”恐慌背后的全民信任危机

数据画像与算法的运用,加剧了交易中的价格歧视。利用算法推荐、大数据画像、精准个性化推荐等新技术,以往在线交易平台起的是信道的作用,其充当的角色消极而中立,而如今在商品和服务展示、交易规则安排、商品和服务评价、商户信用评价等方面,其所扮演的却已然是十分积极的角色。平台通过收集消费者的身份数据、行为数据等,通过数据画像,透视消费者的消费意愿和预期价格,实施“一人一价”、差异化定价,这种价格歧视的实质是利用算法与大数据来“杀熟”或“杀贫”。如滴滴平台通过大数据分析,在同一起点与终点的情况下,老用户打车费比新用户高,苹果手机用户打车费比安卓手机用户要贵。美国东北大学对16家顶级电子商务网站的调研表明,有一半网站对用户进行分类和价格歧视,如通过对用户测试,将部分用户引向更昂贵的酒店。哈佛商学院通过调研发现,Airbnb.com出租房屋网站的非黑人房东平均每晚为144美元,黑人房东的房租为每晚107美元。美国零售商Staples利用算法实行“一地一价”,甚至高收入地区比低收入地区折扣还大。价格面前人人平等的规则被颠覆,追逐利润的“合法歧视”登堂入室。日常生活消费中的“人群捕捞”恐慌挥之不去,商家与消费者之间因此产生了严重的信任危机。

算法自动化决策的广泛应用使得原有匿名化处理、知情同意等保护措施形同虚设。平台公司利用算法大规模收集数据,用户个体再难提供真正自愿的“同意”,来进行算法所需的共享和处理活动。在算法控制下的用户沦为生产链条上的一环,既需要作为生产者不断产生数据,又需要作为消费者不断反馈使用数据。平台公司通过Cookie、客户端程序等自行获取或者借助第三方平台系统获取用户数据。平台公司再对用户行为进行画像、标签或其他技术处理,向用户投放推荐与搜索结果,实现对用户购物的某种程度的操控。目前商业活动中的公平交易关系已严重受损,对消费者的掠夺可谓司空见惯。

(四) “算法共谋”对正常的市场竞争秩序带来冲击

共谋也称合谋,即市场上的几家企业通过合约或其他形式,共同决定产量或价格。事实上,如果市场上的几家企业进行价格共谋,那么它们的整体就类似于一个垄断者。为了获得更高利润,共谋者往往会限制产量,提高定价,其结果是消费者的福利受损。正因如此,各国都视共谋为违法行为。由于共谋是违法的,合谋者严守约定是合谋得以维持的基础,因此合谋者之间需要相互监督。在算法被广泛运用前,由于动态监测合谋者的价格并非易事,故参与合谋的企业越多,背弃合谋的行为就越难被发现,合谋者对背约者进行惩罚的激励也就更低,因而合谋也就更难被维持。故合谋只发生在竞争主体较少、集中度较高的市场结构下,而在竞争主体较多、集中度较低的市场结构下则不太可能出现。但随着大数据时代的来临,借助于算法,动态监测企业的价格行为以及对背约者实施惩罚都变得十分容易,合谋更容易达成,且不再会受到市场结构的限制。原本只能发生在集中性较高市场的合谋现象,现在也可以发生在集中性较低的市场了。

虽然价格算法可能带来正面效应,如可能带来数字经济整体效率的提升,但算法的广泛运用,将改变市场的结构特征,如高透明度、惩罚机制及准入门槛,从而使价格共谋更容易产生。有些情形下采用定价算法的公司间可能达成共谋,甚至有时“算法共谋”不可避免。当前,就有不少“数据巨人”企业为了谋取更大的利益,利用其掌握的数据和信息优势,与其他参与者进行“算法共谋”。

阿里尔·扎拉奇指出,根据层次不同,算法共谋可分为4种:一是信使形式,计算机通过执行人类预设计划而进行共谋。此时具体决策由人做出,算法仅仅是工具,与其它工具无异。二是中心辐射式场景,市场参与者们使用同一个定价算法(第三方提供),该算法给出的价格将成为卖家公认的市场价格,定价算法成为其中的枢纽中心。这种情形也被称为“轴辐合谋”,定价算法的提供者类似一根“轴”,利用算法进行合谋的参与者则好比通过轴相连的“辐”。这种情形下算法依然是工具,合谋决策依然是由参与合谋的人做出。三是预测型代理人场景,该情形之下无需企业高管介入,定价算法充当起了代理人,监控对手定价和市场数据,调整自己的定价。这种情形下所有参与合谋的企业各自设计自己的算法的运行结果依然可能达成合谋,但参与人的决策因素就相对较弱了。四是电子眼模式,算法在机器学习的过程中,自发找到了优化利润的途径。这个过程中人无法察觉到任何不正当竞争与垄断行为的痕迹,但合谋已经发生。在这四种合谋当中,人在决策过程中的作用是依次递减,而算法的作用则依次增加。可见,有了算法,共谋者更是如虎添翼,但监管者对于价格合谋问题的担忧却前所未有。

通过算法决策,事实上改变了算法使用者(“数据巨人”企业)与算法相对人(消费者)之间的平等地位,形成算法权力,侵害算法相对人的权益,冲击市场竞争秩序,损害市场自由竞争和消费者权益。随着算法的广泛运用,在我们所处的这个市场中,“亚当•斯密的‘看不见的手’很有可能被‘算法之手’所取代”。

AI的核心在于算法,AI领域的限制竞争与垄断风险源于算法。算法在挑战垄断行为的认定标准,因为要评估非法行为是否能够被那些受益于算法决策的主体所预测或预先决定,这类评估包括算法的程序指令、保障措施、奖励机制、决策范围等。关注定价算法对竞争产生的不利影响以及可能的算法默示合谋等问题成为必要。

(五)“算法歧视”、“算法暴政”使社会结构固化趋势愈加明显

越来越多的事例表明,算法歧视与算法偏见客观存在。2016年美国白宫曾在其《大数据报告:算法系统、机会和公民权利》中考察了刑事司法、信贷等领域的算法歧视现象,并指出有必要在立法、技术和伦理方面给予救济。以美国Northpoint公司开发的犯罪风险评估系统COMPAS为例,根据其算法评估的结果,黑人犯罪风险高,其几率两倍于白人,对黑人存在明显歧视。亦有研究表明,私营平台和公共部门采用算法自动化决策,导致数百万人无法获得出租房屋、贷款和保险等服务。算法自动化决策还让不少人一直与心仪的工作失之交臂,如同被囚禁在“算法监狱”,难以企及这样或那样的机会。但由于算法自动化决策既不会公开,也不接受质询,既不提供解释,也不予以救济,其决策原因相对人无从知晓,更遑论“改正”,此之谓“算法暴政”。

面对不透明的、未经调节的、极富争议的甚至错误的自动化决策算法,我们将无法回避“算法歧视”与“算法暴政”导致的偏见与不公,随着算法决策深入渗透我们的生活,我们的身份数据被收集、行迹被跟踪,我们的工作表现、发展潜力、偿债能力、需求偏好、健康状况等特征无一不被数据画像从而被算法使用者掌控。如今不管是贷款额度确定、招聘筛选、政策制定乃至司法辅助量刑等,诸多领域和场景中都不乏算法自动化决策。社会原有的结构将被进一步固化,个体或资源在结构框架之外的流动愈发被限制。算法对每一个对象相关行动代价与报偿进行精准评估的结果,将使某些对象因此失去获得新资源的机会,这似乎可以减少决策者自身的风险,但却可能意味着对被评估对象的不公。数据和算法的偏见将其困在原有的社会结构里。一直以来我们信奉靠自己的努力能突破自我、创造奇迹,而算法自动化决策时代,人们的身份、地位和行为都被数据与算法监控和评估,一旦被标记成某类特征的个体或某群体中的一员,犹如被打下了难以磨灭的烙印,这种标记也许会将其圈定在与自身条件所对应的社会位置和职业角色里,而被标记为社会上层的个体将成为新机会与资源的宠儿,底层向上流动的机会愈加减少,这将导致社会资源分配的“马太效应”加剧。


四、算法权力的公法规制路径


是任由“代码为王”,让彼技术去治理此技术带来的问题,还是多管齐下对算法权力进行综合治理?这是当前人类社会面临的一个亟需做出回应的问题。与明目张胆的暴力实施和敌对性权力的争夺迥异的是,算法权力是一种普遍存在于社会运作和个人生活的 “泛在”的权力,其往往表现为一种无处不在的行为引导和隐形的操控。算法权力的这种关系和网络特性使得权力无处不在。正因为如此,算法权力的规制不仅需要国家层面的治理,更包含对个人和群体行为的引导。而不管是国家管理还是对个体抑或群体行为引导,技术与法律往往都不可缺位,一方面,正如莱斯格等学者所倡议的“代码即法律”;另一方面,现实世界法律规则逐渐代码化。如通过代码设定在特定的场景中的可为和不可为,相比法律,代码设定得更为细致具体,其执行也更高效。但“道高一尺,魔高一丈”,技术迭代常常在须臾之间,白帽子与黑客间的博弈亦永无止境。代表治理一方的技术总有无能为力时,而法律无疑是立在技术之后的坚强壁垒。事实上,只有让技术与法律联袂,才有可能有效治理算法权力,问题的关键是需要明白在何时哪些情形下选择技术路径或法律路径为优选,这是亟待技术界与法律界共同携手来解决的问题。

对算法权力的法律规制,目前各国具体做法不一,但从路径选择来说,都在探索私法与公法齐上的综合规制模式。欧盟以赋予数据主体算法解释权、稀释算法权力为主,以赋予数据监管机构强监管权为辅。而美国则以在公共领域组建专门机构和人员构成问责主体进行算法治理为主,以赋予数据主体新型权利为辅。虽然有学者认为不管是欧盟的个体赋权治理路径还是美国的外部问责治理路径都存在局限,如前者在治理效率和集体行动、公共利益保护方面不尽人意,后者面临着技术鸿沟、执法权欠明晰、与商业秘密制度难以衔接等方面的挑战,但在算法治理这个全新的竞技场,不管是先行者的经验还是教训,对于我国构建有效的算法治理规则都是弥足珍贵的参照。

与欧美选择有所不同,我国正在探索以设定平台算法义务为主、赋予个体权利为辅的复合型治理路径,试图走算法治理的中庸之道。相较于算法权力的法律规制这个庞大的系统工程,我国规制算法权力的立法可谓刚刚拉开序幕,只有《电子商务法》第18条、第40条规定了平台的算法义务,而学界已有的相关研究也多集中在算法解释权的创设。本文却认为算法权力的有效规制,亟需公法发力。公法是国家与社会之间关系的调节器,随着算法决策广泛而深入的应用,其嵌入场景日益复杂,对社会运行实现了无孔不入的构建、干预、引导和改造,社会权力结构正在重构,公私边界变得模糊。与私法着重以权利稀释权力不同,公法往往以权力制约权力,正如孟德斯鸠所言,“要防止滥用权力,就必须以权力制约权力”。从具体选择而言,以权力制约权力的直接举措即变革公法,通过强化行政监管权和国家数据主权,来制约算法权力。

(一)强化行政监管部门算法监管权以制约算法权力

随着5G商用与AI的深度应用,算法驱动的自动化决策时代向我们疾步走来。算法在人类社会生活中占据越来越重要的地位,也蕴含着日益严重的风险。新技术的迅猛发展并未给法律留下从容应对的时间。与赋予新兴权利或课以新型义务的私法应对相比,通过行政法规强化行政监管似乎更加灵活和可行,因为每一项新权利或义务的诞生,往往须经过旷日持久的论证甚至博弈。且刑法、民法规制一般都属于事后监管,其规制逻辑是损害后果+法律责任,这对日益多样化、复杂化的算法自动化决策而言,该模式的局限显而易见,更需引入灵活的行政规制。事实上从欧盟GDPR生效伊始,似乎也确实是由行政权在承担着第一顺位的保护义务。在现实社会生活中,往往只有行政规制失灵时,才有其他手段介入。而且算法权力带来的风险是一种典型的现代性风险,也是当前这个日趋智能化的社会面临的整体性风险,当公民个体无力应对,作为社会秩序的维持者和社会资源的掌控者,此时国家或者政府自然应挺身而出。当前我国对算法进行行政规制重点在于通过立法明确和完善算法决策的监管主体、监管对象和监管方式。

1.监管主体的专门化与专业化

由于算法决策应用的广泛性以及嵌入场景的复杂性,算法权力带来的社会风险事实上对行政权的专业性和知识性都提出了挑战,亟待建立专门且专业的算法监管机构,以实现业界所倡导的精细化、场景化监管目标。精细化、场景化监管框架的达成在我国面临的首要障碍是缺乏专门的具有专业能力的监管机构,要改变我国当前九龙治水的行政监管格局,将近两年陆续成立的政府数据服务局定位为专门且专业的数据与算法监管机构,明确其法律地位与职责,规定监管人员的任职资格条件,以确保监管者的专业能力,规范行政监管行为,打造能结合复杂的算法应用场景,制定精细化分类监管标准的专业队伍。

2.将算法决策主体行为和算法本身都纳为监管对象

算法监管是政府通过有关机构对算法设计者、使用者的算法决策行为进行的某种限制或规定。算法决策最初主要应用在商业领域,但越来越多的公共决策也正由算法辅助或替代执行,如犯罪预测类算法在法院量刑环节的应用、公共福利系统采用算法发放福利等。如今算法的设计者和使用者既有公共部门,也有私营平台公司,二者的算法决策行为都是行政监管机构的监管对象。

很长时间以来,我们大都认为算法本身并非可以被规制的独立主体,算法大多数情形下只是作为工具出现,只是为人的决策行为提供参考。因此,对算法权力的规制,终究还得通过规范算法设计者或使用者的行为才能得以实现,因为要负责任的就应该是算法设计者或使用者,而不应该是算法。但时至今日,这种观点受到了挑战,一个原本不是问题的问题被提了出来:监管部门除了规制责任主体的行为,算法本身是否需要监管?因为随着AI由弱变强,算法自动化决策日益自主化,监管部门逐渐从规制平台公司或公共部门,转向了直接规制算法本身。如我国的《电子商务法》(2019)就直指算法设计和部署,要求电商平台的算法能够为消费者提供自然搜索结果。目前被学界倡导的预防性监管事实上也必然指向对算法本身的审查。

3.通过立法明确监管机构的监管权

由于我国现行法律对算法决策缺乏足够和直接的规范,针对具体现象监管机构往往只能进行“头痛医头、脚痛医脚”式的监管,如近年来相关监管部门针对算法推荐引发的诸多乱象,只能采取频频约谈、处罚整改、永久下架、暂停算法推荐功能等手段进行监管,这些举措难以从源头上遏制算法乱象。因此有必要通过行政法明确监管权的内涵和外延,这不仅能为监管机构有效规制算法权力提供法律依据,也能对相关私营平台企业、公共部门的算法决策行为合规提供指引。GDPR除了赋权数据主体,还强化了监管机构的监管权,明确了欧盟及其成员国的监管机构的调查权、矫正权、告知权、认证权、参诉权和行政处罚权,这为其监管机构行使行政执权提供了直接的法律依据,这也是GDPR为保护个人数据和规制算法权力所提供的重要制度保障。相反,美国纽约州虽然通过了《算法问责法》(Algorithmic Accountability Bill),但由于其算法问责主体的执法权并不明晰,致使该制度面临失效风险,有批评认为纽约自动化决策工作组已沦为一个仅提供广泛政策建议机构,而非有效的算法审查机构。

4.采用分层分类的多元监管方式

根据算法权力的弥散性特性,对算法决策的行政监管可遵循风险导向原则,从结果监管、过程监管和场景监管分别展开,对算法采用分层分类的多元监管。如依据算法的可预测性、可解释性和通用性予以分类,对透明度低、架构复杂和威胁公共利益的算法类型进行识别,制定较为严格的监管标准。根据算法的预期用途、关键类型和可接受的错误类型等指标,提出设计、测试以及指导算法开发须符合安全边际的绩效标准。

因为风险规制是一种典型的“决策于未知之中”的领域,与其他传统行政活动很大的不同,在于风险规制者必将面临这种无知。算法的复杂性和算法权力的无形性,加剧了算法自动化决策所带来的社会风险规制的未知,因而行政法就需要在规制过程中引入风险评估、专家论证、信息披露以及公众参与等内容,以降低这种“未知”程度。鉴于算法的监管有较高的技术门槛,直接审查算法本身存在困难,成本也高,可尽可能通过对程序的监管来替代对算法进行直接审查,即通过强调编码公开、系统软件测试、开发公众参与程序等,实现透明化、公开和可问责等程序要求。美国依靠外部问责机制建立的算法治理模式虽然还有其局限,但其通过诉诸于专业性的行政机构或者组建外部监督主体,对算法决策可能潜藏的歧视、偏见和恣意进行审查,值得我们进一步考察其可资借鉴之处,譬如外部专家、行政机构和公众的协同,以及审查标准的构建等。

(二)强化国家数据主权制约算法权力

从权力主体来看,算法权力既可以被国家主体所控制,也可能被非国家主体所掌握。国家凭借其掌握的海量数据和庞大的行政、司法等资源,利用算法进行精准管理和社会治理,是一类十分重要的算法权力主体。大数据和AI时代也成就了诸如微软、谷歌、腾讯、阿里等一大批超国家实体,它们的用户遍布全球,对数据和算法的控制力在某些领域甚至超越了不少主权国家,是AI时代不可小觑的算法权力新贵,拥有强大的支配力。社会智能化程度越高,算法权力越强大,这类算法权力新贵越多,则其可能带来的风险越不可控!尤其是算法权力一旦参与国家之间的博弈,其缺乏规制的野蛮生长将危及国家安全,因此必须高度警惕。根据上文分析可知,数据融合汇聚是算法权力得以形成的基石,因此规制数据的跨境流动,强化国家数据主权,对于有效防范算法权力滋生的国家安全风险,是至关重要的。无论算法权力主体是国家还是非国家实体,一旦涉及危害国家安全和主权稳定时,通过主张国家数据主权能够在一定程度上规制算法权力,因为算法自动化决策系统事实上是以决策为用、以数据为体、以机器学习为魂的。数据的自由流动的程度与算法权力的威力成正比,如果加强数据跨境流动管控以及数据资源的域外控制能力,掌握算法权力的外国公司与外国政府的威胁力将大大减弱。我国亟需提高数据掌控者违法成本,加强对数字资源的域外控制力。

1.明晰跨境数据安全评估规定,提高数据控制者违法成本

我国于2017年实施的《网络安全法》已经对个人信息或重要数据本地化存储和管制性数据跨境传输作了相应的规定,在一定程度上对国家数据主权的维护提供了基本的法律保障,但是仍存在诸如安全评估规定不明、违法成本过低的缺陷。一方面,可在《网络安全法》修订或其实施办法中明确数据跨境的安全风险评估主体、程序与责任,将数据跨境传输的安全评估提升到总体国家安全层面,强化安全评估义务主体的责任。另一方面,还可借鉴欧盟《通用数据保护条例》(GDPR)中所规定的对违反该条例的服务提供者处以“高达20,000,000欧元或全球营业额4%的罚款”的做法,对于违反个人信息或重要数据本地化存储规定,以及未能依法履行数据安全评估义务的数据控制者进行重罚,以提高其违法成本。

2.加强数据资源的域外控制能力

我国的《网络安全法》明确了数据保护的司法管辖,其规定的适用范围为“境内建设、运营、维护和使用网络,以及网络安全的监督管理”,事实上与欧盟、美国相关立法相比,其管控的范围过于狭窄,有必要适度扩张对分布在域外的有关数据的管辖权。如根据欧盟GDPR的“长臂管辖”规定,GDPR适用于向欧盟居民提供产品或服务,甚至只是收集或监控相关数据的非欧盟企业和组织,而与这些企业和组织所在物理位置无关,可见其法律管辖范围并非严格按照国家/地域划分,若欧盟居民是微信用户,那么根据GDPR的规定,即便数据存放在欧盟境外,其对腾讯服务器上的欧盟居民的个人数据有管辖权。美国2018年通过的《澄清域外合法使用数据法案》(俗称《云法案》),更是通过立法的方式明确了美国情报机构等政府部门可以将手伸到他国领土,获取美国云服务商存储在全球任何地方的用户数据。我国在接下来即将出台的《个人信息保护法》《数据安全法》中可以出台相关条款,主张中国公民和企业在境外数据的管辖权,加强对数据资源的域外控制能力,从而间接削弱其他国家的算法权力,减低国家安全风险。


结语


正如福柯所言,弥散性权力已经侵入生活的各个方面,无处不在,且具体而微。福柯主张权力是一种关系,其处于流动与循环的过程中。在人类社会的现实生活中,算法已展现出强劲且高效的选择、判断和决策的力量。面对算法这种新型权力,我们最初的新奇还未褪去,不可回避的风险却已接踵而至。面对日新月异的新技术挑战,近些年我们似乎已经习惯了“让子弹飞一会”,但“算法权力”这枚“子弹”的威力与速度已经远远超出了我们的预期,现有的社会秩序正在被打破,新型社会秩序亟待重构。

后真相时代对算法权力的规制,事关自由和秩序的冲突与协调。正如柏克所言,“自由不仅与秩序和美德共存,而且与秩序和美德共亡。”当前算法不仅决定着我们每天阅读什么内容,我们的就业机会、贷款额度、日常交易,甚至影响到政治乃至社会秩序与格局。当所有人都在争论哪种权力更好时,柏克还认为:“与权力的形式相比,对权力的限制更为重要。”因此规制算法权力,尤其是通过公法来规制算法权力,已经成了人类社会新时代的一个重要使命。