使用opencv检测没有眉毛和颌骨的脸

Question

我正在尝试使用opencv haar级联分类器来检测人脸（睁开眼睛）。但是，在检测没有眉毛和/或下巴的脸部时我遇到了问题，如下图所示。我已经尝试过许多用于面部检测的haarcascade，例如haarcascade_frontalface_default.xml，haarcascade_frontalface_alt_tree.xml等，但是所有这些都不起作用。

这是我的代码：

import cv2
import os
import glob

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_eye_tree_eyeglasses.xml')

count = 0
path = "./test/*.png"
for index, filename in enumerate(glob.glob(path)):
    img = cv2.imread(filename)
    basename = os.path.splitext(os.path.basename(filename))[0]

    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    faces = face_cascade.detectMultiScale(gray, 1.3, 5)

    for (x,y,w,h) in faces:
        # cv2.rectangle(img,(x,y),(x+w, y+h),(255,0,0), 2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        eyes = eye_cascade.detectMultiScale(roi_gray)

        if len(eyes) >= 2:
            count = count + 1
            output_dir = './test/output'
            cv2.imwrite(f'{output_dir}/{basename}.png', img)

cv2.waitKey(0)
cv2.destroyAllWindows()

如果在opencv中使用任何其他分类器/方法或使用HOG可以解决此问题，也可以。我不仅仅限于haarcascade分类器。

谢谢您！

Answer 1

如果安装了张量流，则可以使用神经网络来检测比简单的haar分类器具有更高准确性的人脸。

这是使用MTCNN检测器的示例，该检测器使用tensorflow作为后端。

from mtcnn.mtcnn import MTCNN
from PIL import Image
import numpy as np

img = Image.open('6qNFu.png') # load the image
img = np.asarray(img, dtype='uint8') # convert to numpy array
img = img[:,:,0:3] # drop the alpha channel

detector = MTCNN() # initialize MTCNN detector
print(detector.detect_faces(img)) # use MTCNN detector to return bounding box and face metrics

使用边框可以从图像中提取人脸。注意：如果脸部像上面的实例一样被截断，它可能会返回负坐标，这是它认为脸部可能在哪里的推断。

这里是有关MTCNN库的文档：https://pypi.org/project/mtcnn/它还告诉您如何安装。

Answer 2

将面部标志与dlib一起使用，也许此方法对您有用，请参见以下两个链接：

https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/

并查看此链接：https://www.learnopencv.com/face-detection-opencv-dlib-and-deep-learning-c-python/