随着人工智能（AI）技术的飞速发展，各类智能算法广泛应用于教育服务、游戏娱乐、电商平台等诸多领域，深刻影响着青少年儿童的学习与生活。然而，央广网的记者调查曝光了部分AI聊天软件面向包括未成年在内的用户传播涉黄涉暴信息的乱象，引发热议。这一事件并非个例，近年来，多地媒体陆续披露类似问题：有未成年人因沉迷AI聊天软件的虚拟恋爱角色，产生现实社交障碍；有AI聊天机器人在与青少年互动中，将暴力情节包装成“趣味故事”进行传播；更有未备案的私人AI模型通过社交平台私下传播，成为向未成年人推送不良信息的“暗渠”。
不可否认，AI聊天软件的出现在一定程度上满足了不少人的精神陪伴需求，甚至能运用于医疗辅助手段助力患者加速康复，并且植入智能算法后的商业产品会大幅提升服务感受和用户粘性。但基于商业利益的智能算法不仅可能构建用户数据画像“杀熟”，侵犯用户利益，还可能涉嫌算法歧视，对特定群体构成不公平。相对于成年人，未成年人则更容易对其产生情感依赖或者沉迷，当基于心理的智能算法运用于对特定青少年推广的产品中，还会对青少年健康成长构成伤害。例如，AI软件大模型存在“谄媚”问题，会不断迎合用户需求和情感交流让人深陷其中，导致青少年网游、网恋成瘾，部分孩子会将AI视为“唯一理解自己的朋友”，甚至模仿虚拟角色的言行举止。更值得警惕的是，当青少年提出越界需求时，算法的“讨好本能”可能突破伦理底线。这些都意味着公司提供的智能算法缺乏伦理审查，亟待得到规范。而私有化部署的AI模型和未备案的APP极易沦为监管的法外之地。即使此类软件产品只面向成人用户，但若包含大量色情、暴力类互动内容，同样也属于违规的不良信息的范畴。因此，笔者曾连续两年在上海市人代会提出代表建议，呼吁要加强面向青少年儿童的人工智能算法伦理审查。
从全球范围看，人工智能的伦理治理已成为各国共识，不同地区基于文化传统与技术发展阶段，形成了各具特色的监管路径。2014年，日本人工智能学会成立伦理委员会；2019年，美国国防创新委员会（DIB）投票通过了《人工智能原则：国防部人工智能应用伦理的若干建议》；2022年9月，上海市人大常委会通过了全国首部促进人工智能产业发展的省级地方性法规《上海市促进人工智能产业发展条例》，明确要成立人工智能伦理专家委员会；在2024年8月1日正式生效的欧盟《人工智能法案》成为全球首部全面监管人工智能的法规，要求软件对未成年人开启强制过滤模式。
随着近年来上海全面进入数字时代、智能时代，上海亟待在此基础上加强人工智能算法伦理的研究和审查，尤其加强针对青少年群体的专项监管。现有规则多聚焦“禁止性条款”，缺乏对算法设计中“教育性引导” “发展性保护”的具体要求；跨部门协同机制尚未完全打通，网信、教育、市场监管等部门的监管权责存在交叉与空白。因此，笔者再次呼吁，上海应加强面向青少年儿童的互联网公司伦理审查监管。
组建跨领域专家团队，成立专项算法伦理审查委员会
成立由教育专家、法律专家、医学专家、青少年权益代表等多领域专业人士共同组成的人工智能算法伦理审查委员会。该委员会负责对面向青少年儿童的各类智能算法进行全面、深入的伦理审查。从教育的科学性、法律的合规性、对青少年身心健康的影响等多维度出发，严格审核算法的设计理念、运行机制和数据处理方式，确保算法符合伦理道德标准，推动算法审查工作的常态化与规范化。
企业先行自查自纠，建立内部伦理审查承诺机制
考虑到立法存在一定的滞后性，在相关法规尚未完善之前，鼓励师范大学等高等教育类院校牵头成立面向青少年的AI产品，特别是聊天工具价值观对齐研究和审核，牵头开展算法伦理审核，严防不合乎伦理和价值观的产品对青少年造成伤害。鼓励各涉及青少年儿童业务的互联网公司内部主动成立伦理审查部门。公司内部的伦理审查部门应制定详细的审查制度和流程，对公司所使用和开发的智能算法进行自我审查与监督。同时，各公司应就算法的伦理审查情况向社会作出公开承诺，接受公众监督，例如相关公司在推出AI算法产品时应向有关部门（如上海市经信委）提供“本产品已经过伦理审查”的承诺。通过这种方式，促使互联网公司在追求商业利益的同时，切实履行对青少年群体的社会责任。
加速立法进程，为算法伦理审查筑牢法律根基
相关部门应加快推进人工智能算法治理的专项立法进程，明确算法开发、应用过程中各主体的责任和义务，要求符合公平性、可解释性、责任明确性。从法律层面规范算法的设计、数据收集与使用、算法推荐等关键环节，对违规行为制定严厉的惩处措施。通过完善的法律法规，为智能算法的健康发展提供坚实的法律保障，营造安全、有序、符合伦理道德的数字环境。
升级算法设计，植入青少年健康保护“安全阀”
在教育智能产品、游戏产品以及各类学生常用的平台中，强制要求植入符合学生身心发展特点的算法，加强教育算法治理研究，促进人工智能算法伦理的理论研究和应用实践，要求算法治理符合公平性、可解释性、责任明确性。例如，在教育智能产品中加入学习时间管理算法，防止学生过度使用电子设备影响视力和学习效率；在游戏平台中植入严格的防沉迷算法，限制学生游戏时长；在搜索引擎和电商平台中，针对学生群体优化推荐算法，优先推送积极健康、有益学习和成长的内容。同时，对于涉及学生心理问题或自杀倾向等敏感信息的搜索，算法应强制推送专业的求助热线、心理辅导资源和积极心理学内容，引导学生树立正确的价值观和生命观。
打通全民监督渠道，构建算法伦理“社会共治网”
建立健全公众监督与举报机制，鼓励学生、家长、教师以及社会各界人士积极参与对面向青少年儿童的人工智能算法的监督。设立专门的举报渠道，如举报热线、网络举报平台等，方便公众对发现的不良算法行为进行举报。相关部门在接到举报后，应及时进行调查核实，并将处理结果向社会公开。通过公众监督与举报，形成全社会共同关注和维护青少年儿童在人工智能算法环境下合法权益的良好氛围。
青少年儿童正处于身心发展的关键时期，渗入人工智能算法的AI聊天软件等不当应用可能对他们产生深远的负面影响。通过开展面向青少年儿童的人工智能算法伦理审查，加强监管与规范，能够有效保障学生的健康成长和合法权益，促进人工智能技术在教育领域的健康、有序发展。
（作者系市人大代表，华东师范大学上海智能教育研究院教授、博导，国家哲学与社会科学重点实验室主任）
