攻破人脸识别「口罩」难题，他们在行动！
在疫情持续的当下，戴口罩且正确佩戴成为外出必备的通行证。但一对一的肉眼检查方式通行效率低，容易造成人群的被动聚集，增加了近距离接触的风险。
与此同时，口罩的使用也带来了诸多不便，尤其是在手机解锁、支付、打卡、车站检票等需要人脸识别做支持的场景中。
各地地铁站均要求乘客测体温，且佩戴口罩方可进站
口罩人脸检测技术痛点与应用
为了解决疫情之下检测人群有无戴口罩；各刷脸场景中戴口罩无法精准识别人脸的两大痛点。国内不少人工智能公司，已经开始研发戴口罩场景下的人脸识别。这事大概分两种，第一是识别戴没戴口罩；第二是这戴口罩的人是谁。
这两者目前在市面上都有案例存在，比如旷视团队提出的“人体识别+人像识别+红外/可见光双传感”的解决方案，其中用到了“双光融合”，即结合红外光和可见光，红外负责测温，可见光负责呈现。误差低于 0.03℃。
旷视 AI 测温系统应用界面
此前有人误解为可以进行戴口罩的身份识别，官方回应称，仅仅是AI 用技术快速定位额头（较为准确的测温位置），再利用热成像摄像机对该额头进行精确测温。
商汤科技“AI 无感测温”似乎功能更为高级，全称叫商汤 AI 智慧防疫解决方案的区域通行模块。
正如名称一样，该解决方案也是测温的，使用热成像摄像机，资料称经过商汤 AI 算法优化，每秒可检测 10 人次。可以仅对行人额温进行测量，保证测量精度误差在 ± 0.3℃ 以内，并实现疑似体温异常实时声光和弹窗告警，系统支持对疑似体温异常人员二次核验。
另一个功能是检测过往行人是否乖乖戴口罩。官网称未戴口罩检出率 ＞99%。
可是知君戴口罩，不知君是谁。仅仅知道戴口罩与否仍然不能满足一些场景的需求。比如一些工作场所需要准确的身份识别，而且还要戴着口罩的。
遮挡下的人脸识别是业内公认的一个难题：
一方面，戴上口罩后，首先因鼻子、嘴巴等五官信息被遮挡，人脸面部可用于辨别的信息会大幅减少；
其次脸部轮廓等可辨别信息也在物理分布上发生较大变化，因此按照传统思路训练出的人脸识别模型，精度都会出现大幅下降；
还有数据，戴口罩下的人脸数据本身就非常缺乏，疫情之下也很难短时间内快速采集数据，或者找采集公司定制用以训练。
据商汤官网消息，商汤 AI 智慧防疫解决方案的区域通行模块可以识别出戴口罩人的身份。该模块包括有商汤 SensePass Pro 人脸识别测温一体机、SensePass Pro 人脸识别高精度测温闸机、SenseID 030 人证核验测温一体机，可根据场景等级不同，提供不同的测温测量形式，应用于楼宇、学校、酒店、园区出入口等。
在人员戴口罩的情况下，露出 50% 鼻梁时通过率可达 85% 。
此外，汉王科技推出的升级版汉王亮银钻石款动态人脸识别机的识别率也达到 85%。
据资料显示，汉王科技的人脸识别机搭载六核 CPU，数据处理速度快，采用双目光电硬件和可见光活体识别算法，并且装配有 200W 1080P/30fps 双摄像头。
目前，汉王的这套系统已经被上地地区，汉王大厦、弘祥文化产业园等 6 家企业已使用。北京鸟巢金色大厅、北京第三中级法院、友邦保险、北京消防博物馆……北京地区用户已达 20 余家，设备近 200 套。
与此同时，考虑到挑战难度，小视科技AI研究院院长胡建国决定，首先从算法模型上突围。
此前，团队已经积累的近千个基础模型，但是否有与实际需求匹配尚是个未知数。目前，业界仍然没有一个稳定且高效的针对口罩的人脸识别算法。进行模型评测要有戴口罩下的人脸测试数据，管理层紧急发动公司全员及亲属，用了两天时间采集一个小规模数据集。紧接着远程调用计算集群进行模型评测，他们找到了一种有效的模型思路——采用眼部特征与整体人脸特征的融合，并结合注意力机制增强眼部特征，通过自研的轻量级网络，单独训练眼部关键点的模型，来提升模型在口罩遮挡下的人脸识别率。
胡建国解释，计算机视觉中的注意力机制与人类视觉的选择性类似，核心目标也是从众多信息中获取最相关的信息。佩戴口罩的人脸中眼睛成为了人脸识别的关键信息，基于口罩的人脸识别采用眼部关键点和注意力机制相结合的方法来增强眼部特征，眼部特征图与整体人脸特征图的多级融合，充分挖掘人脸的有效信息，提升模型在口罩遮挡情况下的表现。
人脸识别模型注意力机制效果，第一列表示原图，第二列表示热力图，第三列表示导反向传播图，第四列表示导向反向传播灰度图，图中观察到人眼的区域得到了更多的关注。
在人脸识别模型的训练过程中，胡建国团队同时加载预先训练的眼部关键点网络用于特征图的提取，并与人脸识别网络提取的特征图相结合，结合注意力机制突出眼部特征，提高识别的准确率。
在内部测试集中，该模型结果仅比普通算法模型指标低 5%。而在此之前，业界其他方案的公开口罩人脸识别仍在 80%-90% 区间。
该思路此前在通用任务表现上并不理想，所以没有推广开来，但在口罩识别场景下的表现超出了所有人的预期。
2 月 4 日，小视AI算法团队拿到模型测试结果后，胡建国和团队认为模型指标下降并不严重，已具备在实际生产中有效运行的可能性。
截至 2 月 12 日，在不到五天时间里，小视科技的这套解决方案已完成 20 余家小区的生产布署，服务社区居民 4 万余人。除此之外，企业单位、政府部门等其他场景也正在投入使用。
百度免费开源口罩人脸检测及分类模型
近日，百度宣布免费开源业内首个口罩人脸检测及分类模型。
该模型可以有效检测在密集人流区域中，佩戴和未佩戴口罩的所有人脸，同时判断出他们是否佩戴口罩。
据百度方面介绍，此次免费开源的自研口罩人脸检测及分类模型，是基于 2018 年百度发表于计算机视觉顶会 ECCV 的论文 PyramidBox，而研发的轻量级模型。
模型基于主干网络 FaceBoxes，对于光照、口罩遮挡、表情变化、尺度变化等常见问题具有很强的鲁棒性，并且能够在多种不同端、边、云设备上实时检测，在落地过程中做到真正实用。
模型适用于机场、火车站、汽车站、轮渡港口、医院学校、企业、门店等人群密集的公共场所。
据介绍，口罩人脸检测及分类模型，由两个功能单元组成，可以分别完成口罩人脸的检测和口罩人脸的分类。
经过测试，口罩人脸检测部分在准确度上达到了 98%，且口罩人脸分类部分的准确率达到了 96.5%，满足常规口罩检测需求。
检测模型功能演示，用户也可上传图片进行检测
在线检测地址：http://dwz.date/yrB
百度表示，新模型采用了超过十万张图片的训练数据，确保样本量足够且有效。基于大量数据的训练，实现了上述的准确率。
此外，该模型具有以下三个特点：
无接触快速预警，且 7*24 小时守护：从检测开始到识别完成仅需 300ms，准确率效果大于 98%，精准判断未戴口罩人士。
自动检测口罩佩戴是否正确：可以从俯视视角、平视视角精准判断口罩佩戴是否正确，有效排除口罩带反、露出口鼻、口罩上沿位于鼻子面部贴合等多种不合规情形，准确率效果大于 90%。
支持多种部署形式：可以将口罩识别模型以公有云 API、私有化本地部署、设备端 SDK 多种形式使用，与客户自有业务灵活适配，可综合应用移动端 App、视频检测等多种业务中使用。
据该模型研发工程师介绍，开发者可基于自有场景数据还可进行二次模型优化，进一步提升模型准确率和召回率。
为了最大程度方便开发者应用，百度深度学习平台飞桨通过简单易用的预训练模型管理工具将人脸口罩检测模型开源出来，只需基本的 Python 编程能力，即可快速上手调用。
如果具有一定的移动端 App 开发能力，也可以快速将模型部署到移动端上。
此前不完整面部检测技术研究现状
2019 年，布拉德福德大学的研究人员在不完整面部识别方面获得了突破性进展，实验表明，扫描整个面部的 3/4、甚至 1/2 的识别准确率能够达到 100％。研究团队还展示了某个独立部位的识别，比如鼻子、前额或者嘴巴，但识别率不是很高。该论文已发表在 Future Generation Computer Systems 上。
并不是国外研究团队热衷于“猜猜我是谁”。国内院校和企业早就在这方面进行了专利布局。
苏州大学在 2012 年就提交了《遮挡人脸认证方法及系统》专利。专利称其发明了一种基于 MB-LBP 特征的遮挡人脸识别算法。该算法首先将人脸样本分成六个分块，然后通过结合监督 I-NN 近邻法的 SVM 二分算法对人脸分块进行遮挡判别。若分块被遮挡，则直接舍弃，若未遮挡则提取其相应的 LBP 纹理特征向量进行识别，然后使用一种基于传统投影方法的分类器来减少特征匹配次数。该算法有效地提高了局部遮挡人脸的检测率和检测速度。
电子科技大学、西安电子科技大学、上海交大等不少院校都有相关遮挡下的人脸识别专利。这种布局至少有 8 年之久，当时研究团队和企业就意识到了一些遮挡情景，比如识别暴徒身份。
