伦理设计：借助科技，让孩子成长为更好的人-轻识

“人之所以为人，离不开对生命给予的各种经历和情感的亲身体验，而这些应该由每一个人自己去获得。彻底剥夺孩子探索、体验、感受世界和生命的机会，让孩子在一个严防死守的‘温室’里完全丧失任何试错的空间，所有行动和情绪都暴露在无处不在的视线之下，后果可能会细思极恐。”

本文原载于079期《腾云》。本期以“新设计时代”为主题，在之前的文章中，我们与业内专家探讨了设计向善、游戏设计、全真互联网时代的“混合叙事”等话题，并介绍了在腾讯有着17年历史的CDC。文末有更多关于本期内容的介绍。

文 | 苏文颖

联合国儿童基金会驻华办儿童保护官员

应该有很多人对当代中国家长这一“养娃怪现状”都不陌生：嫌幼儿期的孩子哭闹时，父母往往会“无奈”地把孩子放手给省时省力的“电子保姆”；等孩子进入了不断升级的教育“军备竞赛”阶段，又会对会占用宝贵学习时段的“屏幕时间”（screen time）无比恐慌。

当代家长的这种恐慌完全可以理解——号称“网络原住民”的孩子们对数字科技的体验不仅远远超越祖辈，也与其父母那一代有本质的区别。

对这一区别的感受，在全球催生了一项进展迅速的议程设置（agenda setting）：儿童网络保护。

儿童所面临的数字科技挑战

什么是儿童？

早在1982年出版的《童年的消逝》一书中，学者尼尔·波兹曼就提出，“儿童”是社会文化建构而来的概念，电视的出现，逐渐导致了“童年的消逝”。

法律也是建构“童年”的重要一环，通过法律确定的年龄划分，明确了制度上对不同年龄群体权益的保障和责任的界定。除此之外，软性的行业标准和惯例也参与了构建童年这一进程，比如一些国家针对影视和游戏业的分级制度。

童年不仅是人为建构出来的概念，心理学、脑与神经科学上的许多实证研究，也充分印证了漫长的童年和青少年期区别于成年时期的属性。

大部分国家普遍认为青少年期的结束（多认为在18-20岁），标志着绝大部分人成为了独立的成年人。虽然受到不同传统和文化的影响，但多数国家在立法界定年龄时都考虑了现代科学成果，这也是为什么联合国《儿童权利公约》里明确了18岁以下的都是“儿童”，

中国法律则规定未满18周岁的是未成年人。虽然称谓不同，但法律意义是一样的。

跟几千年前相比，外部世界发生了翻天覆地的巨变，但我们人类的基因、身体和大脑结构，以及由此决定的人类这一哺乳动物的成长发展阶段和规律，其实并没有发生多大的变化。

于是问题来了：我们的身体、大脑乃至由此产生的“心智”，能够自如应对如今数字科技无处不在的环境吗？

进一步地说，聚焦儿童这个身体和脑区尚未发育成熟、不能独立生存的特殊群体，还可以提出下面这些更具体的问题：

数字环境作为一种人类历史上全新的成长环境，线上教育作为一种越来越普及的教育形式，对于孩子的身体发育、认知能力发展和心理健康会不会有长远的影响？

算法推荐等技术无孔不入地覆盖了几乎所有数字使用场景，许多App都在试图占据一个人所有的注意力和时间，由此导致的“沉迷”、信息碎片化、信息茧房/回音壁效应，盲目偶像崇拜等对成年人的影响日益受到关注，这是否会对孩子产生更为特殊的影响？

随着智能家居、电子保姆、万物互联的逐步普及，以及父母越来越忙碌，很多孩子从小就习惯于智能设备的陪伴，这是否会对幼儿的情绪识别和理解产生影响？会不会进一步影响幼儿的情绪反应和早期社会化发展？

如今，数字社交对个人和社会生活的全面侵入从小学就开始了，在青春期更加深入，这对孩子自我概念的形成、价值感和身份认同的确立必然会产生影响，这种影响的程度如何？社交媒体中的“点赞”文化、假新闻和谣言、观点极化、网络暴力与欺凌、隐私和社群，又会如何影响孩子们的道德和社会性发展？

数字技术让以前被局限在小范围内的犯罪在规模和组织程度上有了几何级数的增长，特别是针对儿童的网络性侵和性剥削（例如拐卖、胁迫、诱骗孩子拍摄儿童色情制品或者网络色情直播）很多都是跨国进行，暗网、P2P、加密货币给这类犯罪提供了极大的便利，网络上形成的社群又让这部分人找到了现实生活中难以获得的组织和“归属感”，我们要如何应对这一挑战？

数字社会提供了赋权赋能的土壤，社交媒体给了很多青少年自人类历史以来从未有过的低成本发声机会和无限放大声量的可能性，但青少年时期的大脑缺乏冲动控制，一些青少年蔑视规则，缺乏同理心，追求刺激和冒险，导致的“中二”行为可能会引发无法想象的后果，该如何在数字赋权青少年和规避风险之间取得平衡？

数字鸿沟不仅体现在“接入”上，更体现在“使用”上。即使人手一台智能设备并能连接网络，不同社会阶层的孩子在数字化环境中其实在消费着不同质量的内容，不同群体利用网络能够获得的资源和技能也有差异，这种深层次的数字鸿沟是否更难跨越？又将导致什么样的后果？

问题可以无限列举下去，每一个问题也可以有很多不同的思考维度，但绝大多数人应该都会同意，“童年”作为人生的初始阶段有其不变的内在特殊性，但塑造童年的外部环境却正在全面数字化。

这些问题需要被正视，需要被纳入我们的政策蓝图、研究规划、行业治理，以及每个人的日常生活当中。

儿童网络保护的道和术

技术曾经被认为能极大提升人类福祉，并且仿佛不需要任何代价，全球都弥漫着一种昂扬的技术乐观主义情绪。但近几年来，技术中立论和技术乐观主义迅速退潮，互联网行业面临着一波又一波的道德危机。对技术走向和科技伦理的思考已经蔓延到了整个行业乃至全社会。

在这样的背景之下，不管主动还是被动，“科技向善”成为了很多公司的愿景，一种流行的当代叙事。

很多大佬都对“科技向善”做了精彩的诠释，虽然珠玉在前，我还是忍不住说说自己的观点：科技向善，这短短四个字中，最关键的其实是这个“向”字。因为“科技”本身能自主实现“善”的乐观泡沫早已破灭，“向”之所以重要，是因为它代表的是方向，是导向，是一种动态的路径选择，体现了人的主体性。

简而言之，它代表了科技背后的“人”，那些创造、设计、完善技术、产品和服务的每一个鲜活的人，他们的意识、情感、伦理、价值观、对人和技术关系的思考，对“善”的理解和追求，才是科技向善的真谛。

毋庸置疑，儿童是科技向善的一条重要赛道，事关孩子，总是有着天然的道德正当性。正因为此，这也是一个能够在相当程度上突破不同意识形态和治理模式，相对容易达成共识的互联网治理议程。

于是，在国内外合规需求、监管压力和公众呼声之下，许多国家、国际组织、技术公司、学术界、NGO都在这一领域做了颇多尝试，并进行了国际合作治理的探索，特别是在网络儿童色情、儿童个人数据和信息保护等方面。

综观目前儿童相关的技术应用和治理，“术”的层面林林总总不一而足，“道”却基本脱不开两个字：“控”和“隔”。

前者体现为屏幕时间管理、家长控制模式、监护人同意制度、防沉迷系统等，后者则包括“青少年保护模式”、内容审核制度和打击侵害儿童的网络犯罪等等。

“控”和“隔”当然非常有必要，成年人都会在纷繁复杂、光怪陆离的数字世界中轻易迷失，更何况还没长成的孩子呢？适当管控，为孩子隔开网上的风险和伤害，是互联网治理和儿童保护的题中应有之义。

然而需要警惕的是，过度焦虑和紧绷的“直升机父母”越来越多，对孩子的管控日益精细化和全景化。

著名的《黑镜》系列就讲了这样一个故事: 母亲带女儿去公园玩耍，却因为一时疏忽弄丢了女儿，虽然很快就找回了孩子，但这让保护欲极强的母亲十分不安，她带着女儿去植入了名为“方舟天使” （Arkangel）的家长控制芯片。

芯片不仅能够监测孩子的位置和体征，还能让家长通过孩子的视觉信号在适配的平板上同步看到孩子看到的内容，并对这些内容进行控制，比如，当孩子看到黑狗狂吠、性和血腥暴力等会导致皮质醇水平升高的内容时，可以给这些内容打上马赛克滤镜或对声音进行处理。

过了几年，上了学的女儿对严重失真的世界适应不良，出现了自残行为。芯片一旦植入就无法取出，母亲经过反思关掉了家长控制功能，却在几年后因为十几岁的女儿一夜晚归而无法控制自己的焦虑和恐慌，重新打开了家长控制……

这可能是《黑镜》系列里最没有悬念的一集了，因为它离现实非常近，家长控制功能中的定位和体征监测目前早已实现，如果法律允许对孩子看到的内容进行如此程度的管控，我其实真不确定有多少家长能够斩钉截铁地拒绝诱惑。

因为这种管控对孩子长远的影响尚需一定时日才能显现，而给家长在那一刻所带来的安全感却是实实在在的。这并不是我悲观，毕竟家长给孩子房间装摄像头、学校要求学生寒假“在线自习”全程开摄像头，这些并非虚构故事，而是真实的新闻。

人类对童年的珍视，大抵是因为我们相信童年象征着人之为人最纯粹美好的一些东西，而人之所以为人，离不开对生命给予的各种经历和情感的亲身体验，而这些应该由每一个人自己去获得。

彻底剥夺孩子探索、体验、感受世界和生命的机会，让孩子在一个严防死守的“温室”里完全丧失任何试错的空间，所有行动和情绪都暴露在无处不在的视线之下，后果可能会“细思极恐”。

更好、更负责的伦理设计

现代社会的伦理和法律体系，是建立在人的主体性这一基础上的。我们赋予童年价值，也是在赋予“人”价值，科技向善，应该是通过科技更好地让孩子长大成人，让孩子成长为更好的人，同时警惕技术对童年的异化。

那么，我们应该做点什么呢？

去年，Netflix推出了一部叫作《The Social Dilemma》的纪录片，在中文互联网上也引发了一波讨论。这部作品立场先行，倡导意味很浓，犀利批判了社交网络平台对用户生活的各种控制和侵蚀。

对于片中提出的注意力经济、个人数据收集、算法推荐等问题，主创给出的答案是题中应有之义的政策法律变革，以及更好更负责的伦理设计（ethical design）。

“伦理”是一个大词，大到承载了几千年的历史变迁和文明演进，且经常和宗教、哲学、科学有着难解难分的关系，同时无法脱离所处的地域和时代，也往往具有高度主观的属性。

一个菜单式的伦理设计方案在现实适用中可能会遇到很多挑战，但针对一些需要特殊视角的群体和议程，科技公司可能并不具备充分的知识、能力和经验去应对，这时候，框架式的伦理设计提示还是有必要的。

例如，联合国儿童基金会在其《人工智能为儿童——政策指南》的征求意见稿（2020）中就提出了儿童友好的人工智能（只要是人工智能系统会与儿童发生交互或者对儿童产生影响即满足条件，包括在线教育、智能家居、社交媒体、数字文娱、智慧政务等）应遵循三大原则：

保护 (Protection) ，即“不伤害”(dono harm)。儿童不应受到人工智能系统的任何有害或歧视性影响，与人工智能的交互应确保儿童安全。人工智能还应积极地保护儿童免受任何伤害和剥削。

赋能（Provision），即“为善” (dogood)。充分发挥人工智能在用于支持儿童的教育、卫生服务及休闲娱乐时的潜能。

参与（Participation），即“全纳”(includeall children)。儿童是具备自我意识的主体，对人工智能的使用和其对自身的影响有参与决策的权利。所有儿童都应该在构建一个负责任的数字未来中发挥作用。

指南采取的是全面的儿童权利视角，保护、赋能、参与环环相扣，缺一不可。正如前文指出的，目前互联网行业的很多实践，都仅仅关注到了“保护”，且以“控”和“隔”为主，偶有少许推动“赋能”的努力，但极少让儿童真正有质量“参与”的空间。

当然，必须承认这三大原则在某一具体情境下可能会有冲突，在实践中往往需要综合考虑、审慎平衡。为了使这三大原则落地，联合国儿童基金会还在上述政策指南中，明确建议政府、监管机构以及科技行业在开发儿童友好的人工智能系统时应遵循九大要求：

1.支持儿童的发展和福祉
2.确保包容、多样性和儿童参与
3.公平和非歧视应被摆在优先位置
4.保护儿童的数据和隐私
5.确保儿童的安全
6.具备透明度、可解释性和问责制度
7.具备儿童权利和人工智能的知识
8.培养儿童为现在和未来的人工智能发展做好准备
9.创造一个促进儿童友好型人工智能的环境

当然，以上只是给出了一个框架，对于科技公司而言，只靠这样一个清单并不能解决现实中会遇到的各种复杂状况，而且每一个原则、每一项要求之下，都需要和技术、产品、运营、支持等各部门的人员一起打磨更具体的落地措施和流程，同时预设可能会出现的后续问题并考虑解决方案。

期待更多科技公司能够凝聚共识，先行先试，让这些纸面上的伦理设计真正落地，迈向更儿童友好的“科技向善”。

VOL.079 新设计时代

与其说我们是在讨论“设计”，不如说是在分享和提倡“设计向善”的理念，以应对日益复杂和变化多样的社会挑战。

点击标题，查看系列文章：

设计如何向善：五位设计师带来的启示 / 本刊编辑部

如果说这些被称设计师的人有什么共通点，那就是发现问题、分析问题、解决问题，为社会进步和增进人民福祉持续注入向善的力量。

重识游戏：在这个时代，重新理解“游戏”的丰富含义

“游戏就是一系列有趣的问题”，中国传媒大学游戏设计系主任张兆弓说道。

全真互联网时代，设计师要像“巫师” 一样工作

在中央美术学院设计学院艺术+科技方向教授费俊看来，艺术家和设计师应该重新审视这个现实与虚拟交织的时代，去突破传统场域叙事模式的限制，为观众营造出技术具身后的混合体验。

成军17年，谁是“腾讯CDC”？/ 周俊

以为用户创造优质在线生活体验为己任，腾讯CDC能给我们带来什么样的设计启发？

在未来几周内，我们会持续向你推送下列内容：

Design for Age：在数字空间里，我们好像久别重逢 / 陆诗雨

人口结构急遽变“老 ”，科技产品还在持续更“新”，老龄社会与数字社会已经相逢。适老化设计要如何破解这一难题?

科技向善：为儿童进行伦理设计 / 苏文颖

联合国儿童基金会驻华办儿童保护官员苏文颖指出，保护、赋能、参与，这是联合国儿童基金会在《人工智能为儿童——政策指南》征求意见稿中所提出的三大原则，可为互联网公司在进行未成年人相关的伦理设计时提供更多参考与遵循。

设计：来自日本和英国的小案例 / 否极

造物的过程，有新的物品、新的理念出现的过程，都是设计的一部分。这些过程集合起来，创造出了一个与昨日截然不同的明日世界，我们可以说：这是设计创世纪。

喜欢本文？快点亮右下角“在看”