在数码化浪潮的席卷下,美国学校为了给学生营造一个安全环境,越来越多地引入人工智能(AI)监控技术。这项技术能全天候监测学校发放的设备,以及学生登录学校账户时的在线活动,目的是及时察觉学生心理健康危机和枪击威胁等危险迹象,防患于未然。然而,在实际推行过程中,却引发一系列有关隐私与安全的激烈讨论。
以华盛顿州温哥华公立学校为例,它们选用Gaggle安全管理公司开发的软件对学生进行监控。这款软件运用机器学习算法,每天24小时通过学校发放的笔记本电脑或平板电脑,对学生在网上的搜索内容、写作内容,以及在个人设备上登录学校账户时的活动进行扫描。2024年夏天签署的最新合同显示,三年费用为32万8036美元,这大概相当于额外聘请一名辅导员。
在2023年10月至2024年10月期间,该地区近2200名学生(约占入学人数的10%)成为Gaggle警报的对象。在温哥华艺术与学术学院,约四分之一的学生触发Gaggle警报的通信。该算法能检测诸如欺凌、自残、自杀或校园暴力等潜在问题的指标,一旦检测到,便会将截图发送给人工审核员。如果Gaggle员工确认问题可能严重,便会提醒学校。在紧急情况下,Gaggle会直接打电话给学校官员;极少数情况下,若无人接听,还可能联系执法部门进行风险核对。
但《西雅图时报》和美联社记者通过请求,获取近3500份未经编辑的敏感学生文件。这些文件既无防火墙保护,也无密码设置,学生姓名更是清晰可见,这无疑暴露出巨大的安全风险。这些公布的文件显示,学生们不仅用这些笔记本电脑完成学业,还在上面倾诉个人生活中的焦虑,内容涵盖抑郁、心碎、自杀、成瘾、欺凌和饮食失调等。
监控技术在某些方面确实发挥积极作用,帮助辅导员联系到那些可能在沉默中独自挣扎的学生。然而,它带来的负面效应也不容忽视。性少数群体(LGBTQ+)学生成为最容易受到伤害的群体。在温哥华学校发布的截图中,至少有六名学生在写下自己是同性恋、变性人或在性别焦虑中挣扎后,可能被学校官员曝光。LGBTQ+学生本身就比同龄人更容易出现抑郁症和自杀念头,他们常常在互联网上寻求支持。例如,在一张截图中,温哥华一名高中生在谷歌的一份调查表中写道,自己曾遭受过跨性别歧视和种族歧视的辱骂,而这份调查背后的人虚假承诺保密。
许多家长对学校使用监控技术并不知情。华盛顿大学教授皮尔斯在儿子收到学校笔记本电脑前,签署负责任使用表格时,根本没注意到西雅图公立学校使用监控软件Securly的相关内容。
即便有些家庭了解到学校在监控,也可能无法选择退出。俄克拉荷马州的奥瓦索(Owasso)公立学校自2016年就开始使用Gaggle监控课外学生,蒂姆·里兰德作为两个青少年的家长,多年来对此一无所知。他在询问女儿能否带个人笔记本电脑去学校时,才知晓此事,却被学区拒绝。里兰德的女儿佐伊得知Gaggle的事情后,感到非常“害怕”,从此不再在学校发放的Chromebook上用谷歌搜索任何个人信息,哪怕是关于月经的问题,她担心会因此被叫去办公室。
虽然学校官员坚信监控技术拯救了生命,西雅图地区高线学区也曾有一名可能被贩卖的中学生借助Gaggle与校园工作人员交流。但从发展心理学的角度来看,青少年在成长过程中,需要一个网上的私人空间来探索自己的想法并寻求支持。长期处于被监控的状态,不利于他们发展私人生活,也难以拥有一个犯错、独自面对痛苦感受的空间。
目前,并没有独立研究表明AI监控技术显著降低学生自杀率或减少暴力。2023年,兰德研究仅发现少量关于其益处或风险的证据,研究的共同作者、AI伦理研究员本杰明·布德罗指出:“如果你没有足够的心理健康顾问,发布更多警报实际上不会改善自杀预防 。”
学校的AI监控技术是一把双刃剑,如何在保障学生安全与尊重学生隐私之间找到平衡,已然成为社会各界亟待深入探讨与共同努力解决的重要问题。
作者是北京中国未来研究会会员、中国科普作家协会会员