分类： LINUX
2018-09-28 22:30:32
opencv中提供的基于haar特征级联进行人脸检测的方法效果非常不好，本文使用dlib中提供的人脸检测方法（使用HOG特征或卷积神经网方法），并使用提供的深度残差网络（ResNet）实现实时人脸识别，不过本文的目的不是构建深度残差网络，而是利用已经训练好的模型进行实时人脸识别，实时性要求一秒钟达到10帧以上的速率，并且保证不错的精度。opencv和dlib都是非常好用的计算机视觉库，特别是dlib，前面文章提到了其内部封装了一些比较新的深度学习方法，使用这些算法可以实现很多应用，比如人脸检测、车辆检测、目标追踪、语义分割等等。由于这两个库相应的都包含了C++和Python的版本，而Python的配置和相对使用起来更加简单，因此这篇文章主要通过Python来实现。
先上测试的识别效果，第一张识别吴恩达和Bengio，后者我没有打标签所以识别的是“other”；另外一张gif 是识别梁朝伟、刘德华和一个女主持的过程，本地库中没有存储女主持的图片。
因为博客园不方便上传本地视频，所以用的gif显示效果图，源视频要比gif清楚，640X480像素大小，总的来说效果识别的效果还不错。
一、准备
（1）需要安装opencv和dlib的Python库，之前的一篇文章提到了怎样安装： http://www.cnblogs.com/supersayajin/p/8446685.html ；如果你有GPU并且开启了加速，那么实现的人脸识别程序速度非常快，可以满足实时性，以我运行的结果来看，检测+识别640X480像素的视频流一秒钟大约十几帧；如果你没有GPU那么速度就会很慢了，而且在检测阶段不能使用卷积神经网络的方法了，否则检测一帧数据可能需要几秒甚至几十秒:)
（2）需要一个和PC连接的摄像头；在本文中使用的是串口的摄像头，笔记本电脑集成的摄像头就是串口的，opencv中提供了直接获取串口摄像头的接口，非常方便使用；如果是网口的摄像头那么就要看摄像头提供方，比如大华、海康他们的摄像头可能会提供官方的SDK，如果有接口那是最好；或者，如果摄像头支持RTSP协议，opencv也可以通过RTSP协议获取摄像头的数据；否则可能就要写一套socket通信来实现数据传输，这个不在本文范围之内，默认使用的是串口的摄像头。
二、策略
人脸识别分为人脸检测和识别两个阶段，人脸检测会找到人脸区域的矩形窗口，识别则通过ResNet返回人脸特征向量，并进行匹配。
（1）人脸检测阶段。人脸检测算法需要用大小位置不同的窗口在图像中进行滑动，然后判断窗口中是否存在人脸。在深度学习之前的主流方法是特征提取+集成学习分类器，比如以前火热的haar特征+adaboost级联分类器，opencv中实现的人脸检测方法就采用了这种，不过实验结果来看，这种检测方法效果很不好，经常误检测人脸，或者检测不到真实的人脸；dlib中使用的是HOG（histogram of oriented gradient）+ 回归树的方法，使用dlib训练好的模型进行检测效果要好很多。dlib也使用了卷积神经网络来进行人脸检测，效果好于HOG的集成学习方法，不过需要使用GPU加速，不然程序会卡爆了，一张图片可能几秒甚至几十秒。
（2）识别阶段。识别也就是我们常说的“分类”，摄像头采集到这个人脸时，让机器判断是张三还是其他人。分类分为两个部分：
根据以上，识别的大致过程如下：
图1 人脸识别分类过程
对于图1中的获取人脸特征向量，其过程如下：
图2 获取人脸特征向量过程
用简单的话总结，整个过程分为两个阶段，本地存储已标记人脸数据；识别阶段把从摄像头读取的人脸和本地进行匹配，得到分类结果。
三、程序实现
（1）构建本地人脸特征向量库，并且打标签。
首先加载需要的python库：
import dlib import numpy as np import cv2 import os import json
然后加载模型参数：
detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')
上面代码中的模型参数可以到这里下载： 。detector是使用卷积神经网络（CNN）进行人脸检测的检测算子，当然如果你使用CNN的话需要使用GPU加速，否则速度会超级慢。也可以使用另一种方法，即HOG特征级联分类的检测方法，效果略差于CNN。变量sp，使用预测算子获取得到的人脸区域中的五官的几何点区域，这里加载的是68特征点的landmark模型；然后facerec会得到ResNet模型，He Kaiming（2009年和2015的CVPR best paper作者）提出的方法的一个实现，这里训练模型已经给出，因此不需要自己手动去训练了。
最后，对某个目录中的所有图片进行处理，处理的方式是一张一张地读取某个目录中的图片，每读取一张就检测人脸，如果存在人脸就使用ResNet的接口获取人脸特性向量，保存到事先准备好的矩阵中，并且按照文件名存取标签，完了之后把所有的人脸特征向量和标签都存到本地的文本文件中。注意这里给图片打标签的方式，我把每张图片命名为标签名+下划线+序号+点号+后缀名的形式，标签名是手动命名的标记名称，序号用以区分同一类中的第几张。以下是demo中存放的部分图片：
也有很多其他的方法打标签，这里不多举例。
imagePath = 'LocalImage/' #图像的目录
data = np.zeros((1,128)) #定义一个128维的空向量data
label = [] #定义空的list存放人脸的标签
for file in os.listdir(imagePath): #开始一张一张索引目录中的图像
if '.jpg' in file or '.png' in file:
fileName = file
labelName = file.split('_')[0] #获取标签名
print('current image: ', file)
print('current label: ', labelName)
img = cv2.imread(imagePath + file) #使用opencv读取图像数据
if img.shape[0]*img.shape[1] > 500000: #如果图太大的话需要压缩，这里像素的阈值可以自己设置
img = cv2.resize(img, (0,0), fx=0.5, fy=0.5)
dets = detector(img, 1) #使用检测算子检测人脸，返回的是所有的检测到的人脸区域
for k, d in enumerate(dets):
rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
shape = sp(img, rec) #获取landmark
face_descriptor = facerec.compute_face_descriptor(img, shape) #使用resNet获取128维的人脸特征向量
faceArray = np.array(face_descriptor).reshape((1, 128)) #转换成numpy中的数据结构
data = np.concatenate((data, faceArray)) #拼接到事先准备好的data当中去
label.append(labelName) #保存标签
cv2.rectangle(img, (rec.left(), rec.top()), (rec.right(), rec.bottom()), (0, 255, 0), 2) #显示人脸区域
cv2.waitKey(2)
cv2.imshow('image', img)
data = data[1:, :] #因为data的第一行是空的128维向量，所以实际存储的时候从第二行开始
np.savetxt('faceData.txt', data, fmt='%f') #保存人脸特征向量合成的矩阵到本地
labelFile=open('label.txt','w')
json.dump(label, labelFile) #使用json保存list到本地
labelFile.close()
cv2.destroyAllWindows() #关闭所有的窗口
上面的代码中，会索引imagePath这个存放图像的目录；然后定义一个128维的空向量data，在后续获取每一张人脸特征向量的时候可以往这个向量后面追加，即data的每一行是一个样本的特征向量；然后定义一个list来存储标签。之后开始索引某个目录下所有的图片文件。注意我这里用的是opencv的接口读取图像，也可以使用其他的图像读取接口，比如dlib自带的或者PIL接口中的，都可以使用，不过重要的是接口一定要统一，因为每个接口读取图片转成矩阵的数值可能会有差异。然后使用前面定义的测算子开始检测人脸，返回的是dlib中的一个数据结构，这个数据结构存储了所有检测到的人脸区域信息，对每个检测到的人脸区域获取landmark，并且调用深度残差模型的接口获取128维的人脸特征向量，之后我们把这个人脸向量存储到data中去，这里使用numpy中提供的concatenate方法进行拼接，同时把标签添加到label列表中去。最后，因为data事先定义的是一个128维的空向量，之后利用concatenate方法进行拼接得到，我们需要抛弃第一行；最后把得到的人脸特征和标签存储到本地文件。
这里使用的是CNN进行人脸检测，如果你没有GPU，或者你有GPU但没有进行GPU的配置，那么速度巨慢，此时你可以使用传统的HOG特征+级联分类的方法，不过效果没有CNN的好。这时代码的第6行中模型需要替换成：
detector = dlib.get_frontal_face_detector()
其余的基本保持不变。
以上的代码可以直接运行，运行之后会检测所有的图像，类似于：
并且存取得到本地的人脸特征向量库和标签：
（2）实时读取摄像头进行人脸识别
在（1）中我们已经得到了本地的打过标签的人脸特征向量，这一部分是实现读取摄像头实时识别。首先加载需要的python库：
import dlib import numpy as np import cv2 import json
然后加载神经网络模型：
detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')
threshold = 0.54
其中threshold是人脸识别的阈值，当测试图片和本地图片欧式距离最近的值大于这个值的时候，我们认为不属于本都图片的任何一个类别。然后定义最近邻分类器：
def findNearestClassForImage(face_descriptor, faceLabel):
temp = face_descriptor - data
e = np.linalg.norm(temp,axis=1,keepdims=True)
min_distance = e.min()
print('distance: ', min_distance)
if min_distance > threshold:
return 'other'
index = np.argmin(e)
return faceLabel[index]
当距离值大于threshold的时候我们返回标签“other”，否则返回本地的标签，你可以根据实际情况来设置这个阈值。题外话，安全阈值很依赖于具体的场合，比如安检、银行里进行人脸验证、iPhone解锁，这些对安全要求很高的场合需要比较小的threshold来保证安全，在嫌犯追踪的时候，需要比较大的threshold以保证由嫌疑的人不会漏过。
然后是读取图像进行识别的函数：
def recognition(img):
dets = detector(img, 1)
for k, d in enumerate(dets):
print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
k, d.rect.left(), d.rect.top(), d.rect.right(), d.rect.bottom()))
rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
print(rec.left(),rec.top(),rec.right(),rec.bottom())
shape = sp(img, rec)
face_descriptor = facerec.compute_face_descriptor(img, shape)
class_pre = findNearestClassForImage(face_descriptor, label)
print(class_pre)
cv2.rectangle(img, (rec.left(), rec.top()+10), (rec.right(), rec.bottom()), (0, 255, 0), 2)
cv2.putText(img, class_pre , (rec.left(),rec.top()), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,255,0), 2, cv2.LINE_AA)
cv2.imshow('image', img)
最后是实时读取摄像头图像，并且进行识别的过程：
labelFile=open('label.txt','r')
label = json.load(labelFile) #载入本地人脸库的标签
labelFile.close()
data = np.loadtxt('faceData.txt',dtype=float) #载入本地人脸特征向量
cap = cv2.VideoCapture(0)
fps = 10
size = (640,480)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
videoWriter = cv2.VideoWriter('video.MP4', fourcc, fps, size)
while(1):
ret, frame = cap.read()
#frame = cv2.resize(frame, (0,0), fx=0.5, fy=0.5)
recognition(frame)
videoWriter.write(frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
videoWriter.release()
cv2.destroyAllWindows()
在上面的代码中为了展示检测的效果，我用opencv的接口把图像保存到了视频当中。识别效果截图：
四、总结
利用已有的计算机视觉库可以实现很多好玩和有用的应用，本文只是粗略地展示了一个进行实时人脸识别的demo，还有很多可以改善的点来提高精度和效率，比如人脸受角度、表情影响很大，或者需要处理速度要求更高的场景；同时图像类别规模很大的情况下如何保证效果，如何优化这些都是难点。另外dlib中的提供的这些模型都是已经训练好的，我们可以到官方demo下载，demo给出了在一些benchmark中的效果，也可以自己训练得到这些模型，当然前提是你需要有GPU，并且要求很大量的数据以及丰富的调参经验，这些也都是深度学习中的点~
（完）