人脸识别技术触动“隐私黑盒”，AI技术应用是否该有“边界”
开学季，往往都有新变化。江苏南京的中国药科大学的学生们就在入校时发现了一个大变化，不仅校门、图书馆等安装了新的人脸识别门禁，教室内也装上了人脸识别系统进行考勤，学生发呆、玩手机都能被感知到，帮同学“答到”也将成为历史。但网友对此并不买账，认为这侵犯了学生的个人隐私，你怎么看？
高校试水“智慧课堂”，但争议四起
近日，中国药科大学在教室试点安装人脸识别系统，除了能自动识别学生的出勤情况外，还能够实现对学生课堂听讲情况的全程监控。
学生是否认真听讲、课堂上是否抬头低头、抬头低头了几次、抬头低头了多长时间、低头是否在玩手机、是否闭眼打瞌睡……都逃不过这个人脸识别系统的“法眼”。
中国药科大学图书与信息中心主任许建真表示：传统点名浪费时间、准确率不高，但是有人脸识别就没问题了。
据悉，此举是学校教务部门的要求，意在减少学生逃课、早退、花钱找人代课以及上课不认真听讲等行为，提高学生到课率，严肃课堂纪律。
然而，也有一些学生认为这样做会侵犯个人隐私。
不过相比起来，旷视对这些批评感觉有些冤，按照其官方回应，“这只是技术场景化概念演示”。
对于这次备受争议课堂教学评价系统。旷视的大致做法是，通过其考勤及行为分析摄像机 MegEye-C3V-920获取人脸、行为以及表情等数据，通过行为分析服务器对课堂视频数据进行结构化分析，并反馈学生的行为、表情、专注度等数据，辅助教学评估。
针对网上流出的课堂行为分析图片，旷视称，这张图源于一次小规模线下活动的Demo展示照片，目前还停留在技术展示阶段，并没有落地应用。
目前智慧课堂的市场如何？
从应用端来看，尽管人脸识别课堂监测方案存在一定争议，但不少学校的智慧课堂应用已经落地，以此进行系统化的学生管理，提升教学质量。
浙江省杭州第十一中学也在去年3月份引入了一套类似系统，该校率先在高一的两个班级试运行智慧课堂，通过在教室安装3个组合摄像头来实现无感刷脸考勤。同时通过摄像头，还可对课堂上学生的行为进行统计分析，并对异常行为实时反馈。
据新京报援引杭州第十一中学负责人介绍，传统意义上的口头点名和刷卡在实行过程中都有弊端，如口头点名耗时太长，由于省内教学实行走班制，即每个学生每次上课所在的教室都不同，每位老师每节课所面对的学生也不同，使用刷脸考勤可以简化考核制度。
至于课堂行为分析，校方称，系统每隔30秒会进行一次扫描，针对学生们阅读、举手、书写、起立、听讲、趴桌子等6种行为，再结合面部表情是高兴、伤心，还是愤怒、反感，分析出学生们在课堂上的状态，用以教师的教学反馈。但校方也表示，课堂学生行为统计分析属附加功能，现在应该说连 (考评) 参考都谈不上。
上个月，上海中医药大学附属闵行蔷薇小学也被爆出正在构建智能课堂行为分析系统，运用如姿态评估、表情识别、语言识别、教师轨迹热力分析等技术，探索对课堂教学过程的定量分析。
可以看出，智慧课堂的应用主要满足两方面需求，一个是全校教学管理，另一个则是教学评估。各家智慧课堂的进展尚属初级阶段，人脸签到、课堂状态监测是主要应用领域，至于服务与教学的课堂行为分析，仍处于试水阶段。
目前，不只是旷视，BAT、科大讯飞、好未来以及多家创业公司在近两年均围绕课堂场景推出了相关的视觉解决方案，这些玩家大体可以分为三类，分别是：设备厂商（摄像头生产商），教育公司和 AI 技术公司。
据前瞻产业研究院数据显示，2018年我国智慧教室硬件设备市场规模将达到4741.32亿元左右，到2023年整个市场规模将达到8827.38亿元。 这无疑为设备的AI化提供了广阔的市场空间。
技术发展没有边界，但技术应用必须有边界
人脸识别走入教室并非中国独有，但对于人脸识别的应用，部门国家或地区却有着不同的观点！
▶美国多个城市禁用人脸识别
西方国家似乎对于技术的使用更加保守。比如在美国，面部识别的推进就困难重重。今年5月，旧金山成为美国第一个禁止面部识别监控的城市。
一个月后，美国国会两党在一场国会听证会上正式讨论了对执法部门使用面部识别软件所带来的日益担忧。两党一致认为面部识别软件有侵犯公民隐私权和抗议权的隐忧，寻求立法暂停此类工具的使用。包括面部识别软件专家在内的团队认为，在更完善的监管出台或技术充分成熟之前，此类面部识别工具应由国家叫停。
国会两党共同提案寻求立法对面部识别进行监管
7月，美国又一城市通过了禁止在公共场所使用面部识别软件的法令，成为继旧金山之后全美第二个禁止面部识别技术的城市。新政策生效后，马萨诸塞州的萨默维尔市各机构、分局或下属部门，均不得在公共场所使用面部识别技术。
除了立法的监管，科技巨头在技术的使用上也需要谨慎。今年6月，微软删除了包含1000万张人脸图像的全球最大公开面部识别数据库MS Celeb。该数据库最初于2016年发布，被微软描述为世界上最大的公开面部识别数据库，并用于培训全球科技公司和军事研究人员的面部识别系统。
▶瑞典高中人脸识别违反GDPR被罚15万
8月21日，瑞典DPA在官网公布了GDPR生效以来的首张罚单。金额为20万瑞典克朗（约合人民币14.8万元）。与其他欧盟国家普遍拿科技巨头“开刀”不同，瑞典DPA的处罚对象是斯盖乐夫提的一所高中。
该校为了统计学生的出勤率，在校园内试行人脸识别系统。在实施试验的三周内，共涉及到22名学生。学校强调，他们事先获得了学生的同意。
但是，瑞典DPA律师Ranja Bunni指出："事先获得学生同意"的说法不可接受，因为学生是在学校董事会管理之下的”。也就是说，无法判断这里的“同意”是否为学生的独立意志。
经调查，瑞典DPA认为，在日常环境中对学生进行摄像监控等行为侵犯了学生的隐私。因为学校统计学生出勤率完全可以通过其他方式完成，而这些方式都比人脸识别技术对学生权益的侵害要小得多。
因此，瑞典DPA以该校董事会处理个人信息不符合GDPR规定为由，对其处以20万瑞典克朗（约合人民币14.8万元）的罚款。据悉，罚款金额最高可以达到一千万克朗（约合人民币740万元）。
▶欧盟正在探索严厉的人脸识别技术立法
不仅是在瑞典，英国数据保护监管机构（ICO）也刚刚对一起人脸识别相关事件发起调查。
据英国媒体披露，伦敦国王十字车站地区安装了带有人脸识别系统的闭路电视摄像头，可以监控这一带办公室、商场的人流情况。据房地产开发商表示，这些摄像头不仅有人脸识别和追踪功能，背后还有复杂的系统支撑，可以保护公众隐私。
日前，ICO已对此展开调查。“在日常生活中扫描人脸以识别他们的身份，这种对隐私的潜在威胁值得所有人重视”，ICO专员Elizabeth Denham认为，“尤其是没有经过告知或理解的情况下”。
据《金融时报》报道，欧盟委员会的高级官员透露，他们正在计划一项关于人脸识别数据使用的立法，这将赋予所有欧洲居民明确的决定权，而这项立法也是欧洲AI监管改革的一部分。
还有官员指出，这项立法的目的在于限制公司和公共机构“不加区分地使用人脸识别技术”。欧洲居民将有权“知道人脸识别数据何时被使用”，即使有例外情况，也将是在“严格限制”之下，以确保适当使用。
《金融时报》还提到，在一份相关文件中，欧盟提出希望制定一套“AI监管的世界性标准”，并建立“足以保护个人的明确，可预测和统一的规则”。它将在GDPR的现有义务之上更进一步，将目标锁定为“带来特定风险”的人脸识别等技术。
“AI应用可能对基本权利构成重大风险，不受管制的AI系统可能会做出影响人们却又无法解释的决定，还无法溯源或者找到相关负责人”，该文件称。
公开资料显示，欧盟委员会将在11月迎来新一任主席——Ursula von der Leyen。她计划在其上任的前100天内推出新的AI管理法规，为人类和AI伦理提供一个“经过协调的欧洲方法”。
▶中国对于隐私保护有哪些规范？
其实，我国也有相关的标准来规范数据保护的。2012年《全国人民代表大会常务委员会关于加强网络信息保护的决定》、《消费者权益保护法》第29条、《网络安全法》第41条，都明确规定收集、使用个人信息应当遵循合法、正当、必要原则。《民法总则》第111条也明确规定任何组织和个人需要获取他人个人信息的，应当依法取得并确保信息安全。《未成年人保护法》第5条明确规定保护未成年人的工作，遵循尊重未成年人的人格尊严、适应未成年人身心发展的规律和特点、教育与保护相结合的原则。
此外，2018年《信息安全技术个人信息安全规范》也明确规定收集个人信息前，应向个人信息主体明确告知所提供产品或服务的不同业务功能分别收集的个人信息类型，以及收集、使用个人信息的规则（例如收集和使用个人信息的目的、收集方式和频率、存放地域、存储期限、自身的数据安全能力、对外共享、转让、公开披露的有关情况等），并获得个人信息主体的授权同意。
根据中国经济网，中国药科大学图书与信息中心主任许建真回复相关媒体采访时表示，学校之前已向公安部门和法务部门咨询，由于教室属于公开场所，因此不存在“侵犯隐私”的说法。
照此说法，只要学生家长同意，学校就不触犯我国隐私管理规范了吗？其实不然，虽然学校称，他们事先获得了学生和家长的同意，但瑞典数据监管机构指出，鉴于数据的持有者及数据的管理者之间，存在明显的信息不对称，因此校方和家长的协议不能构成有效的法律依据。瑞典数据监管机构还称，虽然学校的某些场合可以被视为“公开场合”，但学生何时进入教室，依旧是个人隐私。
从我国AI落地情况来看，各家智慧课堂的进展尚属初级阶段，人脸签到、课堂状态监测是主要应用领域，至于服务与教学的课堂行为分析仍处于试水阶段，而这背后的隐患虽然通过技术手段解决了一部分，但对于C端消费者和法律角度而言仍然存在较大的质疑与反对。
