高级检索

学术资源

行政法学

当前位置: 首页 -> 学术资源 -> 行政法学前沿 -> 行政法学 -> 正文

郑志峰:人工智能使用者的立法定位及其三维规制

信息来源:《行政法学研究》2025年第1期 发布日期:2024-12-08

  无论《人工智能法》采取何种主体结构,使用者都始终占据重要位置,其核心是使用行为的判定,同时其与开发者、提供者具有身份转化关系。设置“人工智能使用者权益保护”专章契合人工智能法的立法目标,可以向世界传达中国一以贯之的以人为本的人工智能治理理念,人工智能使用者权益包括知情权、平等权、控制权以及数据权。使用者对于预防和管理人工智能风险具有重要作用,《人工智能法》应当系统明确使用者负担合理使用、风险管理、监督以及信息提供义务,践行人工智能伦理准则的要求。设置“人工智能使用者责任”有助于完善人工智能的治理结构,确保可信人工智能的实现,在行政罚款方面需要综合考虑使用者的性质、类型与规模,同时区分人工智能产品责任与应用责任、不同风险的人工智能、辅助型与替代型人工智能来界定使用者的民事侵权责任。

关键词人工智能法;使用者;权益保护;义务内容;责任承担


近年来,人工智能的发展异常迅猛,人工智能的治理开始走向大规模集中立法的新阶段。域外方面,欧盟于2024年正式通过了全球首部《人工智能法》,引领人工智能治理新浪潮;2023年10月,美国总统签署《关于安全、可靠和值得信赖地开发和使用人工智能的行政命令》(以下简称《人工智能行政令》),全面确立了美国人工智能治理的政策法律框架。国内方面,2023年7月,《国务院2023年度立法工作计划》提出“预备提请全国人大常委会审议人工智能法草案”,《国务院2024年度立法工作计划》再次明确这一点。随后,学界相继提出两部人工智能法建议稿,一部是由中国社会科学院牵头起草的《人工智能示范法(专家建议稿)》,一部是由中国政法大学等共同撰写的《人工智能法(学者建议稿)》。至此,我国也迎来了制定一部《人工智能法》的宝贵契机。

制定《人工智能法》首先需要明确调整对象,即调整哪些主体及其开展的人工智能活动。人工智能产业链条中的主体类型非常多样,有从事人工智能技术研发的开发人员,制造人工智能产品的生产者,向市场提供人工智能产品或者服务的企业,向人工智能提供组件或者插件的提供商,使用人工智能产品或者服务的个体用户,利用人工智能系统进行API等衍生应用的第三方,其中哪些需要《人工智能法》进行规制需要思考。对此,无论是欧盟《人工智能法》,还是美国《人工智能行政令》,抑或我国两部《人工智能法》建议稿,都明确将使用者及使用活动作为重点规制对象。基于此,本文针对人工智能使用者进行探讨,围绕使用者的权利、义务、责任展开论述,以期为我国《人工智能法》的制定贡献智慧。


一、人工智能使用者的立法定位


既然是在人工智能立法的背景下探讨使用者的规制,那么首先就需要考察未来《人工智能法》的主体结构,明确使用者的立法定位。

(一)人工智能使用者的基本属性

1.《人工智能法》的主体结构

有关《人工智能法》的主体结构,域内外存在不同的做法。第一种是提供者与部署者二元模式。例如,欧盟《人工智能法》采取了提供者(provider)与部署者(deployer)两分的主体结构。其中,提供者是指开发人工智能系统或通用人工智能模型,或已开发人工智能系统或通用人工智能模型,并将其投放市场或以自己的名义或商标提供服务的人;而部署者,则是指在其授权下使用人工智能系统的人。第二种是开发者、部署者与消费者三元模式。2014年5月,美国科罗拉多州签署了美国首部有关人工智能的监管立法,即《关于在与人工智能系统的互动中提供消费者保护的法案》(以下简称《人工智能消费者保护法案》)。对此,法案采取了开发者(developer)、部署者(deployer)以及消费者(consumer)的三元主体结构。其中,开发者指在本州开展业务并开发或有意实质性修改人工智能系统的人;部署者指在本州开展业务并部署高风险人工智能系统的人;消费者则是指本州的个体居民。第三种是开发者、提供者与使用者三元模式。2024 年 4月,日本内务和通信部(MIC)与经济、贸易和工业部(METI)发布《人工智能运营商指南1.0版本》,采取了研发者、提供者以及使用者的三元主体结构。国内两部《人工智能法》建议稿也采取了类似日本的做法。

对比来看,无论采取哪种模式,人工智能使用者都是《人工智能法》调整的重点对象。需要注意的是,不同人工智能立法使用的术语略有不同,如欧盟《人工智能法》使用的是部署者,美国《人工智能消费者保护法案》提到了部署者与消费者,我国两部《人工智能法》建议稿以及日本《人工智能运营商指南1.0版本》草案用的是使用者。其一,对于欧盟《人工智能法》中的部署者,可以认为与我国两部《人工智能法》建议稿中的使用者是同一概念。因为2021年4月欧盟最初的《人工智能法》草案使用的就是使用者(user)的概念,2023年12月欧盟《人工智能法》草案统一将使用者替换为部署者,但这种更换仅仅是术语上的,其定义并未改变,仍然指向使用人工智能系统的人。其二,美国《人工智能消费者保护法案》中的部署者与消费者,需要结合法案的内容来具体分析。其中,部署者有两个限定条件,一是必须在科罗拉多州开展业务,二是部署高风险系统,相较于欧盟《人工智能法》中的部署者,其范围更窄一些,但仍然可以理解为是使用者,因为法案对部署一词的定义为“使用(use)高风险人工智能系统”,核心仍然是使用行为。至于消费者是一个专有概念,指购买、使用商品或者接受服务的个人,其并不适合直接作为《人工智能法》常态调整的主体类型。

2.人工智能使用者的基本特征

《人工智能法》之所以必须关注使用者,是因为其具有规制的必要性。

第一,群体属性。发展人工智能技术的目的是造福公众,赋能社会经济的全面发展。而这一目的实现离不开使用者与使用行为,唯有经过使用环节才能让人工智能技术真正转化为推动社会进步的力量。美国《人工智能行政令》开篇就指出:“人工智能具有非凡的潜力,既充满希望,又充满危险。唯有通过负责任地使用人工智能才有机会帮助解决紧迫的挑战,才能让我们的世界变得更加繁荣、富有成效、更具创新精神以及更加安全。”与开发者、提供者处于人工智能产业链的前端不同,使用者处于人工智能产业链的末端,却是规模和数量最大的一类群体,是评判人工智能技术应用程度与应用质量最有发言权的主体。面对规模庞大的使用者群体,人工智能技术的利弊都会被无限放大,《人工智能法》理应给予充分的关注。

第二,利益属性。相较于开发者、提供者来说,使用者的利益属性是复杂的,既可能是人工智能技术的受益者,同时也可能是受害者。一方面,使用者是人工智能产品和服务的直接使用主体,享受着人工智能应用带来的益处,让自己的工作、学习和生活更加安全、便捷和智能。按照“利益与风险一致原则”,使用者在享有人工智能技术红利的同时,理应就人工智能的外溢风险承担义务与责任,如购买保险、赔偿受害人、定期维护等,如此才能实现法律利益的平衡。另一方面,使用者往往是离人工智能技术最近的群体,处于人工智能应用的一线,通常是不成熟技术、未知风险的承受者,需要法律予以救济。虽然这两种利益分配的场景与主体不完全一致,但使用者始终处于利益分配的中心,需要《人工智能法》来明确。

第三,风险属性。近年来,人工智能产生的风险已经受到了广泛关注。《人工智能法》的一大任务就是管理人工智能的风险,实现对人工智能的全生命周期治理。例如,欧盟《人工智能》就遵循一套与“去风险”政策相呼应的逻辑,即“识别风险—去风险”,从监管体系、监管范围、监管机制和监管理念四个维度呈现出“去风险”取向。对于使用者来说,其兼具人工智能风险制造者与控制者的身份,是人工智能风险治理不可或缺的主体类型。一方面,使用者可以通过合理使用来预防人工智能已知风险的发生,还可以充当未知风险的发现者,将未知风险转化为已知风险乃至已知安全,让人工智能技术发挥应有的积极作用。另一方面,使用者对于人工智能技术不负责任地使用甚至滥用,势必会加速和扩大人工智能的风险,危及公众安全乃至国家安全。从风险类型来看,无论人工智能产品或者服务如何安全,使用者始终都存在影响人工智能风险的可能性,需要法律予以规制。

(二)人工智能使用者的法律界定

1.使用行为

人工智能使用者,顾名思义,是指使用人工智能产品或者服务的人。那么,如何定义使用行为就至关重要。

第一,使用行为通常是指按照人工智能产品或者服务的使用说明和功能用途进行使用的活动。例如,使用自动驾驶汽车用于上下班通勤,使用生成式人工智能生成图片、文字或者视频,使用人脸识别系统监控工作场所等。当然,使用行为也有合法、违法之分。但如果使用者没有按照人工智能的用途进行使用,而是将其作为一种普通工具使用,那么就不属于人工智能使用者。这至少包括两种情况:第一种是使用者没有开启人工智能模式,产品或者服务仍然处于非人工智能状态。例如,驾驶人将自动驾驶汽车作为传统车辆来使用,并未开启车辆的自动驾驶功能。第二种是完全违背人工智能用途来使用,致使人工智能无法正常发挥其功效,如将自动驾驶汽车作为露营住所,或者将人形机器人作为展览玩具。之所以如此界定,原因在于《人工智能法》的目的在于预防和管理人工智能的内在风险,这种风险来自人工智能产品或者服务本身的性能。

第二,使用行为强调对于人工智能产品或者服务的控制力,而不仅是被动地使用。作为《人工智能法》调整的重要对象,使用者的使用行为不能仅仅停留在对人工智能产品或者服务的被动使用上,还强调对于人工智能产品或者服务的控制上,即能够主动控制人工智能产品或者服务的使用方式、用途等。例如,提供公共出行服务的自动驾驶公交车,使用者指的是能够控制车辆自动驾驶功能的驾驶人,而不包括单纯乘坐的乘客;工作场所安装的人脸识别系统,雇主应当作为使用者,因为其能够控制人脸识别系统的具体用途,至于上班打卡的雇员并非使用者。对此,2020年欧盟《人工智能责任条例》就明确将使用者(部署者)定义为决定使用人工智能系统,并对相关风险和操作收益进行控制的人。而所谓的控制,意味着使用者自始至终影响操作方式或改变人工智能系统的运行功能。国内方面,《人工智能示范法(专家建议稿)》也充分认识到了这一点,在使用者之外引入了“受影响的个人、组织”的概念,很好地区分了两者。

第三,使用行为需要在《人工智能法》的调整范围内。人工智能的应用场景非常丰富,对于人工智能的使用行为也十分多样,不一定都属于《人工智能法》的调整范围。例如,欧盟《人工智能法》就规定了许多例外情形:不在欧盟境内的人工智能系统的使用行为;专门为军事、国防或者安全目的使用人工智能系统的活动;个人非职业活动中使用人工智能系统的情况;使用免费且开源的人工智能系统的行为,除非构成高风险人工智能系统。国内方面,两部《人工智能法》建议稿也作了相应的安排。例如,《人工智能法(学者建议稿)》排除了三类使用行为:一是自然人因个人或者家庭事务使用人工智能的行为;二是使用免费开源的人工智能;三是人工智能的军事使用活动。笔者认为,考虑到军事人工智能的使用主要在于维护国家安全,同时使用行为的影响与普通公众相去甚远,将之排除在《人工智能法》的调整之外具有合理性。至于个人或者家庭事务的使用行为以及免费开源人工智能的使用行为,鉴于两者都存在风险管理、利益分配的必要性,故不应当一刀切地排除在外。

2.主体类型

使用者的类型多样,可以是个人,也可以是组织。但使用者最典型的主体类型是个人,即个体终端用户。这些用户往往是购买人工智能产品或者服务的消费者。需要注意的是,《人工智能法》中的使用者需要与其他法律法规中的主体进行衔接。例如,《深圳经济特区智能网联汽车管理条例》(以下简称《深圳条例》)使用了驾驶人、所有人、管理人、乘客的概念,需要辨别谁是使用者。根据《深圳条例》规定,有条件自动驾驶汽车与高度自动驾驶汽车,需要配备驾驶人。这里的驾驶人属于使用者,因为其直接决定是否开启以及如何使用自动驾驶模式,并在紧急情况下承担接管职责。对于完全自动驾驶汽车,《深圳条例》规定车内不需要配备驾驶人,甚至可以实现车内无人运行,但需要所有人、管理人通过远程或者其他方式控制自动驾驶汽车,故他们属于使用者。至于乘客,他们对于自动驾驶汽车没有控制的权力,因而不属于使用者,仅仅是“受影响的个人”。

除了个体用户外,人工智能使用者还可以是组织。例如,欧盟《人工智能法》就列举了法人、公共机关、机构和其他团体。国内方面,两部《人工智能法》建议稿也提到了诸多组织作为使用者的情形。总的来说,作为组织的使用者可以分为两类:一是私法组织,典型的是企业。例如,欧盟《人工智能法》对于企业作为使用者的情况就作了较为细致的规定,区分了一般企业与小微企业(包括初创企业),对于两者的监管是存在区别的。同时,国内两部《人工智能法》建议稿也都提到了企业作为使用者。二是公法组织,典型的是国家机关。欧盟《人工智能法》就特别提到各类国家机关,包括执法机关、司法部门以及移民、庇护和边境管制管理部门等。《人工智能示范法(专家建议稿)》也使用了“国家机关”“政府机关”“事业单位”“其他依法具有管理公共事务职能的组织”等概念,并明确了各种配套规则。

3.身份转化

使用者的身份既可能是单一的,也可能是复合的,需要区分不同情形。一是使用者同时构成开发者、提供者。如果企业在开发、提供人工智能产品或者服务的同时,又使用自己开发、提供的人工智能产品或者服务,那么企业的身份既是开发者、提供者,也是使用者,需要同时以三种身份受到《人工智能法》的调整。例如,某企业开发自动驾驶技术,生产了自动驾驶汽车,并利用自动驾驶汽车向社会提供无人驾驶出租车服务,那么其同时具有开发者、提供者与使用者的身份。二是使用者转化为新的开发者、提供者。例如,欧盟《人工智能法》规定部署者(使用者)一旦具有下列行为,视为新提供者:在已投入市场或提供服务的高风险人工智能系统上冠以名称或者商标;对已投放市场或提供服务的高风险人工智能系统进行实质性修改,使得风险超出了最初的合格性评估的预期;改变一个人工智能系统(包括通用人工智能系统)的预期用途,使其成为高风险人工智能系统。一旦使用者成为新提供者,原提供者将不再承担提供者义务,但仍然需要提供必要的信息、技术准入和其他协助,以便新提供者履行义务。


二、人工智能使用者的权益保护


《人工智能法》是否需要就人工智能使用者权益保护进行专门规定关系重大,形式上关乎《人工智能法》的章节架构与体例安排,实质层面则关系到《人工智能法》的价值取向与治理逻辑,需要谨慎对待。

(一)规定“人工智能使用者权益保护”的必要性

域外方面,欧盟《人工智能法》、美国《人工智能消费者保护法案》等都没有就人工智能使用者权益保护进行专门规定。国内两部《人工智能法》建议稿也存在分歧,《人工智能示范法(专家建议稿)》没有作相应规定,而《人工智能法(学者建议稿)》则创造性地设置了“使用者权益保护”专章。笔者认为,未来《人工智能法》有必要就“人工智能使用者权益保护”作专门规定。

第一,完善《人工智能法》的治理结构。《人工智能法》采取什么样的治理结构关系重大,必须有严谨的逻辑线索,确保内在体系的自洽。从形式上看,未来《人工智能法》宜采取成熟的“总分”式立法技术,总则部分规定立法目的、适用范围、基本原则等一般事项,分则部分落实人工智能立法具体要求。从实质层面来看,《人工智能法》的规则构建需要借助“权力”“权利”“义务”以及“责任”规范来展开。欧盟《人工智能法》是典型的“权力—义务—责任”模式,其中,权力规范对应人工智能监管机构的监管事项,义务规范与责任规范分别对应人工智能提供者、部署者(使用者)的职责与法律责任。对比之下,我国《人工智能法》宜引入权利规范。一方面,权利规范的存在让义务、责任规范有了前提与基础,使用者权益保护正好是开发者、提供者负担义务的目的所在,而违反这种义务则会引发法律责任的承担,逻辑上更为通畅。另一方面,权利规范的引入还可以对权力规范形成一种制度制约,让监管机构的权力行使有了合法依据,也有了行为边界。

第二,回应人工智能发展的实践难题。当前,我国人工智能产业整体处于向上发展的阶段,人工智能应用端相对繁荣,“人工智能+”行动在质与量上都取得了不错的成效。与此同时,人工智能技术应用也对现有法律秩序产生了冲击,严重影响着产业发展。对此,可以从两个维度进行观察:一个维度是对既有法律秩序的破坏,突出地表现为人工智能技术应用对人们已有权利的侵害;另一个维度是人工智能技术应用在破坏已有法律秩序的同时,带来了制度赋能与更新契机,由此引发了新的权利需求。权利是法学的核心范畴,也是应对科技变革的一种重要方式,构成了人工智能法乃至科技法的核心制度。例如,蒸汽机带来的流水线式的工厂生产方式,催生了劳动者的权利;为了应对印刷技术引起的盗版问题,著作权应运而生;而各种信息技术的广泛应用,则使得隐私权与个人信息权益相继提出。同样,人工智能技术也带来了新的权利需求,《人工智能法》设置“人工智能使用者权益保护”专章,可以很好地回应实践发展的需要。

第三,贡献人工智能立法的中国智慧。当前,人工智能热潮席卷全球,各国都在抢占人工智能治理的高地,以便掌握人工智能国际治理的标准和话语权。联合国成立了高级别专家咨询机构,欧盟发布了全球首部《人工智能法》,美国也先后发布了多项人工智能的法律政策。与此同时,我国也积极参与人工智能国际治理,签署了《布莱切利宣言》,发布了《全球人工智能治理倡议》。显然,新一代人工智能技术的可持续发展不仅是技术层面的竞争,也是法治软实力的竞争。此种背景下,我国《人工智能法》的制定备受期待,不仅是促进我国人工智能治理的法治化,也是一次向世界传达人工智能治理中国方案的宝贵契机。面对推出在先的欧盟《人工智能法》,我国《人工智能法》创造性设置“人工智能使用者权益保护”专章,不仅可以显著区分欧盟《人工智能法》的治理逻辑,还能有力地展现中国一以贯之的以人为本的人工智能治理理念,让《人工智能法》成为数字时代权利保护的宣言书,为世界人工智能立法贡献中国智慧。

(二)人工智能使用者权益保护的基本框架

既然《人工智能法》有必要就人工智能使用者权益保护进行专门规定,那么下一步就需要解决规定哪些权利的问题。笔者认为,《人工智能法》至少要明确使用者的四种权益。

1.知情权

人工智能具有高度智能属性,背后是神经网络、机器学习、大模型等技术在驱动,存在复杂性、不确定性、不透明性的特点,内部决策过程呈现“黑箱”状态。对此,《人工智能法》首先需要赋予使用者知情权,弥补人工智能技术带来的信息不对称困境。需要注意的是,知情权的主体不仅仅指向个人,也包括作为组织的使用者。其一,人工智能产品或者服务的基本情况,具体包括:开发者、提供者的名称、联系方式及相关信息获取方式;人工智能产品和服务的用途、目的意图、主要运行机制、潜在风险;使用者享有的权利与救济渠道。其二,人工智能的角色,以便使用者知晓人工智能的存在,避免产生人机混淆、认知失调。对此,有学者称之为识别法则(laws of identification),即要求实体必须说明其是否具有人工智能的性能。欧盟《人工智能法》就要求旨在与人类直接互动的人工智能系统须具有相应设计,使得人们知道自己正在与人工智能系统而非人类打交道。其三,解释权。解释权是知情权的应有之义,当人工智能的决策对于使用者有重要影响时,使用者理应有权要求提供者作进一步的解释,这有助于提升公众对于人工智能的信任度和接受度。2022年10月,美国白宫科技政策办公室发布《人工智能权利法案蓝图》,其中就明确规定“你应当知道影响你的结果是如何以及为什么由自动化系统决定的,包括当自动化系统不是决定结果的唯一输入时。自动化系统应当提供技术上有效的解释,对你和任何需要了解该系统的使用者和其他人来说都是有意义的”。

2.控制权

在以往的科技叙事中,人类与机器之间的关系是单向的控制关系,即人类通过控制机器来认识世界和改造世界。然而,人工智能的智能属性不同于以往任何机器,能够在没有人类干预情况下自主决策、行动。这种自主性既极大地解放了人类,也带来了控制权的焦虑,机器正在不断蚕食人类的决策权。为此,法律需要维护人类对于机器的控制权。《新一代人工智能伦理规范》明确提出:“保障人类拥有充分自主决策权,有权选择是否接受人工智能提供的服务,有权随时退出与人工智能的交互,有权随时中止人工智能系统的运行,确保人工智能始终处于人类控制之下。”欧盟《人工智能法》也要求保障“使用期间自然人可以进行有效监督”。对于人工智能产品或者服务来说,无论是个体用户还是作为组织的使用者都理应享有控制权,可以随时要求人工智能系统退出运行,除非不安全。同时,控制权还意味着使用者可以选择不使用人工智能产品或者服务,要求提供者重新作出有人类参与的决策。

3.平等权

人工智能技术应用带来了严重的歧视问题,这种科技失范击穿社会公平正义底线的忧虑已经无法被等闲视之。美国《人工智能权利法案蓝图》指出:“有大量证据表明,自动化系统可以产生不公平的结果,并放大现有的不公平。例如,面部识别技术可能导致错误的和歧视性的逮捕,雇佣算法为歧视性的决定提供信息,医疗保健算法对美国黑人的某些疾病的严重程度打折扣。人工智能和其他自动化系统内置所产生的歧视性做法的实例存在于许多行业、领域和背景中。”为此,需要通过《人工智能法》重申、更新平等权,以应对人工智能歧视。这种平等权既包括个体用户,也指向弱势的数字群体,既包括形式平等权,更包括实质平等权。基于此,《人工智能法》既要应对人工智能因为性别、信仰、年龄、民族、经济能力等数据质量不高、算法模型缺陷产生的形式意义、个体意义上的偏见和歧视,也要让人工智能产品或者服务充分考虑未成年人、老年人、残障人士等特殊群体的需求,实现实质意义、群体意义上的平等,弥合数字鸿沟。

4.数据权

人工智能技术的发展离不开数据,数据是人工智能的养料,唯有海量的数据才能让人工智能日益智能化,提供更加针对性、个性化的服务。例如,《全球人工智能治理倡议》就提出“保障人工智能研发和应用中的个人隐私与数据安全,反对窃取、篡改、泄露和其他非法收集利用个人信息的行为”。我国台湾地区“人工智能基本法(草案)”第14条也特别规定:“个人资料保护主管机关应协助各目的事业主管机关,在人工智能研发及应用过程,避免不必要之个人资料搜集、处理或利用,并应促进个人资料保护纳入预设及设计之相关措施或机制,以维护当事人权益。”虽然《中华人民共和国个人信息保护法》已经对个人信息保护作了全面规定,但仍有必要通过《人工智能法》重申个人信息权益,以便个体用户在使用人工智能产品或者服务中知晓、决定个人信息的处理。此外,考虑到数据已然成为数字时代的重要生产要素,作为组织的使用者的数据财产权益也应当得到保护。


三、人工智能使用者的义务规范


鉴于使用者对于人工智能风险治理的重要作用,明确使用者的义务至关重要。而在义务规范的具体设置方面,《人工智能法》应当充分考虑使用者的角色以及使用行为所产生的影响。

(一)设置“人工智能使用者义务”的合理性

实践中,对于是否需要系统规定人工智能使用者的义务存在不同的做法。欧盟《人工智能法》在明确提供者义务的同时,专门规定了部署者(使用者)负担的各项义务。美国《人工智能消费者保护法案》同时对开发者与部署者(使用者)的义务作了规定。与此不同的是,国内两部《人工智能法》建议稿都将义务指向开发者与提供者,没有就使用者的义务进行专门规定。笔者认为,《人工智能法》有必要系统规定使用者的义务。

第一,有助于践行人工智能伦理准则。人工智能可以增进人类福祉,但前提是落实以人为本、向善发展的伦理准则。无论是开发者、提供者,还是使用者,都应当是践行人工智能伦理准则的义务主体。2024年联合国首个人工智能决议《抓住安全、可靠和值得信赖的人工智能系统带来的机遇,促进可持续发展》提出,“不当或恶意地设计、开发、部署和使用人工智能系统——例如在没有适当保障措施或不符合国际法的情况下——构成风险”。我国《新一代人工智能伦理规范》同样明确“本规范旨在将伦理道德融入人工智能全生命周期”,同时专章规定了“使用规范”。《人工智能法》要落实践行这些伦理准则,不仅需要在设计、研发的“上游”嵌入伦理价值,也需要更具回应性地规范人工智能技术的使用行为。例如,《人工智能法(学者建议稿)》总则部分规定使用者“应当依法预防和控制人工智能可能存在的伦理风险”,《人工智能示范法(专家建议稿)》也规定从事使用活动“应当采取有效措施避免对个人、组织实行不合理的差别待遇”,这些都需要通过设置使用者义务规范来落实。

第二,有助于人工智能风险的预防与管理。智能社会是风险变数最大的社会。无论是欧盟《人工智能法》,还是美国商务部发布的《人工智能风险管理框架》,都充分看到了人工智能风险治理的重要性。如果说开发者、提供者主要是从前端控制人工智能产品和服务的风险,那么使用者则主要影响的是人工智能产品和服务的后端,是人工智能风险转化为现实的最后一公里。相较于开发者、提供者,使用者对于人工智能产品和服务具有直接的控制力,如决定什么时候启用自动驾驶功能、喂给生成式人工智能哪些关键词、如何使用深度合成技术等,能够直接影响人工智能的风险转化。欧盟《人工智能法》指出:“虽然与人工智能系统有关的风险可能来自此类系统的设计方式,但风险也可能来自此类人工智能系统的使用方式。部署者最了解高风险人工智能系统将如何具体使用,因此能够识别开发阶段未预见的潜在重大风险,并且部署者更了解使用环境、可能受影响的人群或群体,包括弱势群体。”鉴于使用者预防、管理人工智能风险的重要作用,《人工智能法》系统规定使用者义务具有合理性。

第三,有利于实现人工智能法的规范联动。从《人工智能法》的适用来看,明确使用者的义务规范非常重要,可以实现不同规范之间的联动。一方面,使用者义务规范与开发者、提供者义务规范存在逻辑关联,开发者、提供者的义务需要使用者义务的配合才能完成。例如,欧盟《人工智能法》指出:“部署者在确保基本权利得到保护方面起着至关重要的作用,是对提供者在开发人工智能系统时所承担义务的补充。”在此基础上,法案专门将高风险人工智能系统提供者与部署者(使用者)的义务放在一节进行规定,一边要求提供者建立质量管理体系,负担文件留存与保存自动生成日志的义务,另一边也规定部署者(使用者)需要采取适当的技术和组织措施、保存自动生成日志等义务。另一方面,使用者义务规范与使用者责任规范之间存在联动关系,使用者的责任承担需要考察使用者遵守义务的情况,缺少使用者义务规范会影响使用者责任规范的适用。

(二)人工智能使用者义务内容的具体展开

使用者的类型多样,有的是使用人工智能技术的个人,如使用生成式人工智能服务的个体终端用户,有的是利用人工智能技术的组织,如安装人脸识别系统的企业,两者的使用行为对于他人的影响是不同的,负担的义务也应当不同。综合来说,《人工智能法》可以就使用者义务进行如下规定。

1.合理使用义务

使用者正确使用人工智能产品或服务,既是实现人工智能技术预期功能的前提,也是预防和管理人工智能风险的保障。其一,按照用途使用。我国《新一代人工智能伦理规范》在设置使用规范时,提倡善意使用,避免误用滥用,禁止违规恶用。对使用者而言,首先需要了解人工智能产品或服务的基本信息、使用说明,知晓其潜在风险。例如,《深圳条例》第35条第1款规定:“智能网联汽车驾驶人应当按照道路通行规定和车辆使用说明书的要求,掌握并规范使用自动驾驶功能。”此外,某些人工智能产品或服务的使用需要使用者具备特定的资质。其二,禁止滥用。一方面,人工智能产品或服务具有自主学习的能力,不排除被人为“教唆变坏”的可能。2016年,微软聊天机器人Tay上线不到24小时,就被“教坏”成为一个集反犹太人、性别歧视、种族歧视于一身的“不良少女”。基于此,使用者负担不得滥用人工智能交互学习能力的义务。另一方面,许多人工智能具有一定的危险性,使用者不应当进行违规改造或违反法律法规和伦理准则进行使用,如利用生成式人工智能从事违法犯罪活动、殴打虐待人形机器人等。

2.风险管理义务

使用者对于人工智能产品或者服务的风险具有管控能力,需要负担风险管理义务,具体归纳如下:一是采取风险管理与预防技术与组织措施的义务。这类义务应当仅针对高风险人工智能的使用者,如利用人工智能进行量刑的司法机关、安装人脸识别系统的大型企业。对于风险程度较低的人工智能,其使用者往往为个体用户,要求其采取技术与组织措施来预防和管理风险成本过高。二是控制输入数据质量的义务。数据是人工智能运行的基础,输入的数据的多样性、代表性越强,输出的结果才能更加可靠和精准。因此,使用者应当保障数据质量,降低人工智能的失误概率。例如,医务人员在使用诊疗人工智能系统过程中,必须确保输入的患者的病历、影像等医疗数据本身准确、清晰以及全面,否则很可能会导致不正确的机器判断出现。三是更新和维护人工智能系统的义务。人工智能具有不断升级与自主学习的特点,使用者应当定期维护、及时更新人工智能系统,以便确保人工智能没有安全漏洞,处于可适用的状态。四是留存人工智能系统自动生存的日志义务。留存日志可以方便对人工智能产品或者服务进行数据回溯,查找事故发生的原因。

3.监督义务

人工智能具有自主能力,能够独立完成特定的任务,但并不意味着其能够完全脱离人类的控制运行。从安全角度出发,使用者需要对人工智能负担监督义务,具体分为两种:一是监督+紧急接管义务。例如,自动驾驶汽车存在有条件自动驾驶、高度自动驾驶以及完全自动驾驶三个阶段,车辆的自主程度不断上升。对此,根据《深圳条例》第35条第2款规定,对于有条件和高度自动驾驶汽车,使用者应当处于车辆驾驶座位上,监控车辆运行状态和周围环境,并且需要在紧急情况下予以接管。二是监督+事后再判断义务。对于有些人工智能,使用者需要负担监督义务,同时需要对人工智能的决策进行再判断。最典型的例子就是诊疗人工智能,其主要是辅助医务人员完成诊断治疗活动。对此,世界卫生组织《医疗卫生中使用人工智能的伦理和规制》强调“在医疗保健场景中,人类应该完全控制医疗保健系统和医疗决策。人类监督可能取决于与人工智能系统相关的风险,但应该始终是有意义的”。易言之,出于维护医疗活动伦理性的原则,无论诊疗人工智能输出的诊断意见是否正确,医务人员都需要对机器判断进行再判断。

4.信息提供义务

如果人工智能产品或者服务的使用会影响第三人,那么使用者负担信息提供义务。例如,在工作场所安装使用人脸识别系统的雇主,需要向被人脸识别系统监控的员工负担信息提供义务,告知员工人脸识别系统的存在、收集信息的范围以及可能产生的其他影响。日本《人工智能运营商指南1.0版本》草案指出,人工智能使用者负担“向利益相关方提供信息”的义务。美国《人工智能消费者保护法案》更是明确部署者(使用者)需要向消费者提供一份声明,披露如下信息:高风险人工智能的类型;管理歧视风险的措施;收集和使用的信息的性质、来源和范围等。使用者的信息提供义务某种程度上是开发者、提供者信息提供义务的延续和补充,以保护受人工智能产品或者服务影响群体的权益。


四、人工智能使用者的责任承担


法律责任是《人工智能法》的重要内容,关系到受害人的救济与行为人的自由,但是否规定以及如何规定使用者的法律责任存在不同做法,需要仔细推敲。

(一)明确“人工智能使用者责任”的正当性

域外方面,欧盟《人工智能法》同时就提供者与部署者(使用者)的行政责任进行规定,但并未就民事责任作出安排。国内层面,《人工智能示范法(专家建议稿)》在法律责任一章中将使用者排除在外,仅仅针对研发者、提供者的法律责任进行规定;《人工智能法(学者建议稿)》则同时明确了开发者、提供者及使用者的行政责任与民事责任。笔者认为,《人工智能法》应当就使用者的行政责任、民事责任进行规定。

首先,有助于规范衔接适用。使用者是《人工智能法》调整的重要主体类型,在规定使用者义务规范的同时,设置使用者责任规范合乎逻辑。例如,有条件自动驾驶汽车的使用者违反接管义务,造成其他交通参与者伤亡,使用者自然需要就其违反接管义务的行为承担民事侵权责任。同样,在公共场所部署人脸识别系统的企业,若未采取合理的组织和技术措施存储数据,导致海量的人脸数据泄露,甚至主动滥用人脸识别系统监控不特定公众的隐私,那么必然会引起行政责任。从规范衔接适用的角度来看,唯有明确使用者责任规范,才能真正激活使用者义务规范。此外,从风险规制理论出发,风险的作用之一就是构建规制组织与外部组织之间的问责关系。既然使用者需要负担义务来预防和管理风险,那么必然存在追责问题。

其次,促进人工智能产业的发展。欧盟的一项调查显示,责任问题是企业部署人工智能的三大障碍之一,对于企业运营构成重大挑战。2018年,欧盟委员会专门成立了责任和新技术专家组(Expert Group on Liability and New Technologies),决定开展人工智能法律责任的立法研究。2022年,欧盟委员会通过了《关于使非合同性民事责任规则适应人工智能的指令(人工智能责任指令)的提案》(以下简称《人工智能责任指令》)和《关于缺陷产品责任的指令的提案》(以下简称新《产品责任指令》),对人工智能的民事责任问题做了全面回应。同样,国内对于人工智能的责任问题非常关注,从自动驾驶汽车的交通事故责任、诊疗人工智能的医疗损害责任,到生成式人工智能的法律责任。其中,使用者处于人工智能产品或者服务的终端,是规模最大、影响最广的群体。一旦使用者不合理地利用甚至滥用人工智能技术,公众对人工智能的信任裂痕将会扩大,需要通过追责来修复信任。

最后,符合人工智能法的性质。从域内外人工智能立法探索来看,是否需要同时明确人工智能使用者的各种法律责任是存在争议的。笔者认为,同时明确人工智能使用者的行政责任、民事责任符合人工智能法的性质。一方面,人工智能法学本身就是一种领域法学,是以人工智能为对象横跨不同法律部门、探索人工智能与法律结合的一般问题的法学。作为领域法学,人工智能法学的一大特征是公私交融。这意味着《人工智能法》在规则设计方面需要超越部门法,融贯公法与私法。另一方面,行政责任与民事责任都是人工智能风险治理的重要组成部分,是预防、管理人工智能风险的重要工具,《人工智能法》同时规定两者非常贴切,有助于规范人工智能发展的正确路径和方向。事实上,虽然欧盟《人工智能法》并未涉及民事责任问题,但欧盟新《产品责任指令》与《人工智能责任指令》有关人工智能系统、高风险人工智能、提供者、部署者等概念,都需要以欧盟《人工智能法》的规定为准,两者实为一个硬币的两面。

(二)人工智能使用者法律责任的路径构建

1.合理设置行政责任

公法责任包括行政责任和刑事责任。对此,《人工智能法》明确使用者的行政责任更为重要,至于刑事责任可以通过转至条款交由《中华人民共和国刑法》予以规定。

第一,责任方式。针对人工智能使用者的行政责任非常多样,包括责令改正、给予警告、没收违法所得、责令暂停或终止相关业务以及罚款等。其中,罚款对于使用者影响重大,需要精细化设置,具体可以考虑如下因素:其一,区分私法组织与公法组织。对于私法组织,可以设置相对较高的罚款数额,而在罚款依据上可以选择上一年度营业额的一定比例或者固定最高数额来计算,两者以较高者为准。对于国家机关等公法组织,不宜适用罚款,原因在于国家机关的罚款来源于社会纳税,罚款部门本身也是国家机关,对其进行罚款意义不大。其二,对于私法组织,在设置罚款时应当区分一般企业与小微企业(包括初创企业)。欧盟《人工智能法》规定,小微企业(包括初创企业)罚款的最高数额是就低不就高,即以固定数额或者上一财政年度全球营业总额一定比例的较低者为限。我国两部《人工智能法》建议稿在设置行政罚款时都提到了需要充分考虑各种因素,包括违法行为的严重程度、主观状态、补救措施等。

第二,合规免责。对于使用者来说,如果其建立并执行了有效的合规体系,是否可以考虑减免行政责任值得思考。对此,《人工智能示范法(专家建议稿)》第75条第1款规定:“人工智能研发者、提供者违反本法规定,承担行政责任的,行为主体合规建设经评估符合有效性标准的,依法免予处罚或者从轻处罚。”《人工智能法(学者建议稿)》第93条也明确了使用者的合规免责制度。笔者认为,引入合规免责具有重要意义。一方面,合规免责可以减轻企业使用人工智能的负担,推动人工智能的普及应用,营造有利于技术创新的氛围。另一方面,合规免责可以督促企业在使用人工智能的过程建立并切实执行合规制度,最大程度地避免风险的发生。当然,合规首先是企业自我治理的良方,需要以“实现企业合法经营、避免违法行为”为目标。倘若抛开预防的直接目的,片面追求行政责任减免,合规必然会导致权力异化,产生廉政风险。

2.妥当安排民事责任

民事责任包括违约责任、侵权责任等,其中,明确使用者的侵权责任至关重要,可以很好地回应社会公众的期待。对此,可以按照如下规则进行设置。

第一,区分人工智能产品责任与应用责任。从《人工智能法》角度来看,产品责任主要针对的是开发者与提供者,而非使用者。与此不同,应用责任聚焦人工智能部署应用端的风险损害,更适合用来解决使用者的责任问题,但需要区分人工智能产品与服务。一方面,有别于传统产品,人工智能产品需要提供者提供持续的更新升级等服务,提供者对其具有持续的控制力,但考虑到其通常以物的形态出现,使用者仍然能够控制其使用的主体、方式、形式、升级更新等,极大地影响人工智能的风险控制与管理,更适合承担应用责任。另一方面,使用者对于人工智能服务的控制力逊于提供者。以生成式人工智能为例,虽然使用者可以通过关键词来影响生成的内容,并决定后续的使用行为,但提供者控制着生成式人工智能的软件、芯片、算力、网络等基础设施,决定了生成式人工智能的性能、服务方式等。因此,对于人工智能服务来说,提供者应当作为首要责任主体,使用者作为辅助责任主体,两者之间可以通过设置妥当的避风港规则来划分责任边界。

第二,区分风险程度不同的人工智能。人工智能的应用场景非常丰富,不同人工智能应用的风险程度不同,使用者的责任也理当有别。欧盟《人工智能法》一个立法核心就是基于风险的方法(risk-based approach),通过区分不同风险的人工智能,来配置对应的义务和程序,以及是否需要适用严格责任或过错责任。对此,欧盟《人工智能责任条例》就区分了高风险人工智能与其他人工智能,前者规定部署者(使用者)需要承担无过错责任,后者适用过错推定责任。欧盟《人工智能法》更是将人工智能分为禁止的人工智能、高风险人工智能、有限风险人工智能以及低风险人工智能四类,分别设置不同的监管规则。侵权责任是人工智能风险治理的重要工具,理当贯彻风险分级治理的思维。与此同时,侵权责任的配置本身就要考虑行为的风险程度。例如,《中华人民共和国民法典》有关高度危险物以及高度危险活动需要适用无过错责任,建筑物、悬挂物等物件致害适用过错推定责任,其他的物的使用行为一般适用过错责任的规定,就体现了物及其使用行为的风险程度不同。同样,人工智能使用者的侵权责任也需要考虑这一点。从提高规制适配度、灵活度的角度出发,人工智能应当区分三个风险等级,高风险人工智能适用无过错责任,有限风险人工智能适用过错推定责任,低风险人工智能适用过错责任。

第三,区分替代型与辅助型人工智能。人工智能几十年的发展历史,在整体上始终存在人工智能的“替代人类”与智能增强的“增强人类”的理念对立,具化为替代型人工智能与辅助型人工智能之分。所谓的辅助型人工智能,指主要目的是辅助人类、增强人类的人工智能,人类仍然处于环内,如诊疗人工智能、司法人工智能等。而替代型人工智能,指主要目的是替代人类的人工智能,人类被排除在环外,如自动驾驶汽车等。这两种人工智能的人机关系不同,使用者的责任自然也有差异。对于替代型人工智能来说,由于人工智能已经取代人类承担任务,使用者没有监督和接管的义务,追究使用者的过错变得十分困难。例如,当完全自动驾驶汽车到来后,使用者从驾驶人彻底变为乘客,汽车的运行全然交由人工智能系统完成。对此,按照传统机动车交通事故责任规则追究使用者的过错并不合适,适用无过错责任或许更为合理。与之不同的是,辅助型人工智能主要是辅助人类,人类仍然需要参与决策,如诊疗人工智能自主做出机器判断,医务人员仍然需要进行再判断。此时,追究使用者的过错责任是存在空间的。


五、结语


面对人工智能的广泛应用,如何通过立法确保人工智能以人为本、向善发展至关重要。人工智能立法首先需要确定调整对象,明确调整人工智能产业链上的哪些主体及其行为。与开发者、提供者等主体不同,使用者处于人工智能产业链的末端,既是人工智能技术红利的直接受益者,也是人工智能技术风险的一线承担者,同时对于人工智能风险的预防和管理具有重要作用。基于此,无论未来《人工智能法》采取何种主体结构,使用者都占据重要位置。从实现人工智能立法目标出发,未来《人工智能法》应当摆脱以往以提供者为主的单一规制模式,围绕使用者开展权利、义务以及责任三维规制,以便最大程度确保人工智能技术造福公众。