Chinaunix首页 | 论坛 | 博客

丸子丸子丸子的ChinaUnix博客

首页　| 　博文目录　| 　关于我

丸子丸子丸子

  • 博客访问： 15575
  • 博文数量： 11
  • 博客积分： 0
  • 博客等级： 民兵
  • 技术积分： 120
  • 用 户 组： 普通用户
  • 注册时间： 2019-12-06 11:01
文章分类

全部博文（11）

文章存档

2020年（6）

2019年（5）

我的朋友
最近访客
推荐博文
相关博文
如何使用 python 接入虹软 ArcFace SDK

分类： Python/Ruby

2019-12-11 19:17:25

公司需要在项目中使用人脸识别SDK，并且对信息安全的要求非常高，在详细了解市场上几个主流人脸识别SDK后，综合来看虹软的Arcface SDK比较符合我们的需求，它提供了免费版本，并且可以在离线环境下使用，这一点非常符合我们对安全性的要求。

但有个遗憾的事情，我们的项目主要使用了Python语言，虹软官方并没有提供Python版本的SDK，因此我自己使用Python封装了Arcface C++ SDK，便于在项目中使用，这里将主要过程写出来供大家探讨下。

1. 环境说明
a. 注意Win64环境的Python必须使用ArcFace C++(Win64) SDK,如果平台不一致， 否则可能会出现以下错误。 

点击(此处)折叠或打开

  1. OSError: [WinError 193] %1 不是有效的 Win32 应用程序
b. 由于SDK中涉及到内存操作，本文使用了ctypes包和cdll包提供的以下几种方式 

点击(此处)折叠或打开

  1. c_ubyte_p = POINTER(c_ubyte) memcpy = cdll.msvcrt.memcpy malloc = cdll.msvcrt.malloc malloc.restype = c_void_p free = cdll.msvcrt.free
2.Arcface SDK基本数据结构封装

 在封装数据结构时，一定要注意参数类型,否则可能会导致程序出错。

点击(此处)折叠或打开

  1. class MRECT(Structure): # 人脸框
  2. 　　　　_fields_ = [(u'left', c_int32),
  3. 　　　　　　　　　　　(u'top', c_int32),
  4. 　　　　　　　　　　　(u'right', c_int32),
  5. 　　　　　　　　　　　(u'bottom', c_int32)] class ASFVersion(Structure): # 版本信息 版本号 构建日期 版权说明
  6. 　　　　_fields_ = [ ('Version', c_char_p),
  7. 　　　　　　　　　　　('BuildDate', c_char_p),
  8. 　　　　　　　　　　　('CopyRight', c_char_p)] class ASFSingleFaceInfo(Structure): # 单人脸信息 人脸框 人脸角度
  9. 　　　_fields_ = [ ('faceRect', MRECT),
  10. 　　　　　　　　　　('faceOrient', c_int32)] class ASFMultiFaceInfo(Structure): # 多人脸信息 人脸框数组 人脸角度数组 人脸数
  11. 　　　　_fields_ = [ (u'faceRect', POINTER(MRECT)),
  12. 　　　　　　　　　　　(u'faceOrient', POINTER(c_int32)),
  13. 　　　　　　　　　　　(u'faceNum', c_int32)] class ASFFaceFeature(Structure): # 人脸特征 人脸特征 人脸特征长度
  14. 　　　　_fields_ = [ ('feature', c_void_p),
  15. 　　　　　　　　　　　('featureSize', c_int32)] class ASFFace3DAngle(Structure): # 人脸角度信息
  16. 　　　　_fields_ = [ ('roll', c_void_p),
  17. 　　　　　　　　　　　('yaw', c_void_p),
  18. 　　　　　　　　　　　('pitch', c_void_p),
  19. 　　　　　　　　　　　('status', c_void_p),
  20. 　　　　　　　　　　　('num', c_int32)] class ASFAgeInfo(Structure): # 年龄
  21. 　　　　_fields_ = [ (u'ageArray', c_void_p),
  22. 　　　　　　　　　　　(u'num', c_int32)] class ASFGenderInfo(Structure): # 性别
  23. 　　　　_fields_ = [ (u'genderArray', c_void_p),
  24. 　　　　　　　　　　　(u'num', c_int32)] class ASFLivenessThreshold(Structure): # 活体阈值
  25. 　　　　_fields_ = [ (u'thresholdmodel_BGR', c_float),
  26. 　　　　　　　　　　　(u'thresholdmodel_IR', c_int32)] class ASFLivenessInfo(Structure): # 活体信息
  27. 　　　　_fields_ = [ (u'isLive', c_void_p),
  28. 　　　　　　　　　　　(u'num', c_int32)]
3.Arcface SDK接口封装

a. 接口封装之前需要加载dll库，Arcface SDK 提供的dll都需要加载。 

b. 本文中图片格式使用了ASVL_PAF_RGB24_B8G8R8。 

c. 每个接口都需要定义返回值以及参数类型，某些参数类型依赖前文所述的基本数据结构。 

点击(此处)折叠或打开

  1. from arcsoft_face_struct import * from ctypes import * from enum import Enum

  3. face_dll = CDLL("libarcsoft_face.dll")
  4. face_engine_dll = CDLL("libarcsoft_face_engine.dll")

  6. ASF_DETECT_MODE_VIDEO = 0x00000000
  7. ASF_DETECT_MODE_IMAGE = 0xFFFFFFFF ASF_NONE = 0x00000000
  8. ASF_FACE_DETECT = 0x00000001 ASF_FACE_RECOGNITION = 0x00000004
  9. ASF_AGE = 0x00000008
  10. ASF_GENDER = 0x00000010
  11. ASF_FACE3DANGLE = 0x00000020
  12. ASF_LIVENESS = 0x00000080
  13. ASF_IR_LIVENESS = 0x00000400
  14. ASVL_PAF_RGB24_B8G8R8 = 0x201

  16. class ArcSoftFaceOrientPriority(Enum):
  17.     ASF_OP_0_ONLY = 0x1,
  18.     ASF_OP_90_ONLY = 0x2,
  19.     ASF_OP_270_ONLY = 0x3,
  20.     ASF_OP_180_ONLY = 0x4,
  21.     ASF_OP_0_HIGHER_EXT = 0x5,

  23. activate = face_engine_dll.ASFActivation
  24. activate.restype = c_int32
  25. activate.argtypes = (c_char_p, c_char_p)

  27. init_engine = face_engine_dll.ASFInitEngine
  28. init_engine.restype = c_int32
  29. init_engine.argtypes = (c_long, c_int32, c_int32, c_int32, c_int32, POINTER(c_void_p))

  31. detect_face = face_engine_dll.ASFDetectFaces
  32. detect_face.restype = c_int32
  33. detect_face.argtypes = (c_void_p, c_int32, c_int32, c_int32, POINTER(c_ubyte), POINTER(ASFMultiFaceInfo))

  35. extract_feature = face_engine_dll.ASFFaceFeatureExtract
  36. extract_feature.restype = c_int32
  37. extract_feature.argtypes = (c_void_p, c_int32, c_int32, c_int32, POINTER(c_ubyte),
  38.                             POINTER(ASFSingleFaceInfo), POINTER(ASFFaceFeature))

  40. compare_feature = face_engine_dll.ASFFaceFeature
  41. Compare compare_feature.restype = c_int32
  42. compare_feature.argtypes = (c_void_p, POINTER(ASFFaceFeature), POINTER(ASFFaceFeature), POINTER(c_float))

  44. set_liveness_param = face_engine_dll.ASFSetLivenessParam
  45. set_liveness_param.restype = c_int32
  46. set_liveness_param.argtypes = (c_void_p, POINTER(ASFLivenessThreshold))

  48. process = face_engine_dll.ASFProcess process.restype =
  49. c_int32 process.argtypes = (c_void_p, c_int32, c_int32, c_int32, POINTER(c_ubyte),
  50.                             POINTER(ASFMultiFaceInfo), c_int32)

  52. get_age = face_engine_dll.ASFGetAge
  53. get_age.restype = c_int32
  54. get_age.argtypes = (c_void_p, POINTER(ASFAgeInfo))

  56. get_gender = face_engine_dll.ASFGetGender
  57. get_gender.restype = c_int32
  58. get_gender.argtypes = (c_void_p, POINTER(ASFGenderInfo))

  60. get_3d_angle = face_engine_dll.ASFGetFace3DAngle
  61. get_3d_angle.restype = c_int32
  62. get_3d_angle.argtypes = (c_void_p, POINTER(ASFFace3DAngle))

  64. get_liveness_info = face_engine_dll.ASFGetLivenessScore
  65. get_liveness_info.restype = c_int32
  66. get_liveness_info.argtypes = (c_void_p, POINTER(ASFLivenessInfo))
4.封装接口调用 

接下来按照下面的流程图介绍接口调用（此图使用 Microsoft Visio 2016自动生成）。

下图是按照此流程处理得到的效果图，由于画面有限，只显示了年龄、性别、活体信息。


a. 激活 

需要注意app_id和sdk_key需要使用字节类型。

点击(此处)折叠或打开

  1. app_id = b""
  2. sdk_key = b""
  3. ret = arcsoft_face_func.activate(app_id, sdk_key) # 激活
  4. if ret == 0 or ret == 90114:
  5.     print("激活成功")
  6. else:
  7.     print("激活失败:", ret)

b. 初始化 

 初始化需要将所有需要的功能参数一次性传入，本文使用了人脸检测、特征提取等功能。

点击(此处)折叠或打开

  1. mask = arcsoft_face_func.ASF_FACE_DETECT | \
  2.             arcsoft_face_func.ASF_FACE_RECOGNITION | \
  3.             arcsoft_face_func.ASF_AGE | \
  4.             arcsoft_face_func.ASF_GENDER | \
  5.             arcsoft_face_func.ASF_FACE3DANGLE |\
  6.             arcsoft_face_func.ASF_LIVENESS

  8.     engine = c_void_p()
  9.     ret = arcsoft_face_func.init_engine(arcsoft_face_func.ASF_DETECT_MODE_IMAGE,
  10.                                         arcsoft_face_func.ArcSoftFaceOrientPriority.ASF_OP_0_ONLY.value[0],
  11.                                    30, 10, mask, byref(engine))
  12.     if ret == 0:
  13.         print("初始化成功")
  14.     else:
  15.         print("初始化失败:", ret)

c. 人脸检测 

本文使用了opencv读图，兼容性更好，并且自定义的数据结构记录图片信息，注意 ArcFace C++ SDK 要求传入的图像宽度需要是4的倍数，下面做了裁剪。

点击(此处)折叠或打开

  1. class Image:
  2.     def __init__(self):
  3.         self.width = 0
  4.         self.height = 0
  5.         self.imageData = None

  7. def load_image(file_path):
  8.     img = cv2.imread(file_path)
  9.     sp = img.shape
  10.     img = cv2.resize(img, (sp[1]//4*4, sp[0]))# 四字节对齐

  12.     image = Image()
  13.     image.width = img.shape[1]
  14.     image.height = img.shape[0]
  15.     image.imageData = img
  16.     return image

点击(此处)折叠或打开

  1. ###################### 人脸检测 ##################################

  3.     image1 = load_image(r"1.jpg")
  4.     image_bytes = bytes(image1.imageData)
  5.     image_ubytes = cast(image_bytes, c_ubyte_p)

  7.     detect_faces = ASFMultiFaceInfo()
  8.     ret = arcsoft_face_func.detect_face(
  9.         engine,
  10.         image1.width,
  11.         image1.height,
  12.         arcsoft_face_func.ASVL_PAF_RGB24_B8G8R8,
  13.         image_ubytes,
  14.         byref(detect_faces)
  15.     )

  17.     if ret == 0:
  18.         print("检测人脸成功")
  19.     else:
  20.         print("检测人脸失败:", ret)

d. 特征提取 

特征提取只支持单人脸，因此做了人脸处理操作，并且需要及时将提取的人脸特征拷贝一份，否则会被覆盖。

点击(此处)折叠或打开

  1. single_face1 = ASFSingleFaceInfo()
  2.     single_face1.faceRect = detect_faces.faceRect[0]
  3.     single_face1.faceOrient = detect_faces.faceOrient[0]

  5.     face_feature = ASFFaceFeature()
  6.     ret = arcsoft_face_func.extract_feature(
  7.         engine,
  8.         image1.width,
  9.         image1.height,
  10.         arcsoft_face_func.ASVL_PAF_RGB24_B8G8R8,
  11.         image_ubytes,
  12.         single_face1,
  13.         byref(face_feature)
  14.     )

  16.     if ret == 0:
  17.         print("提取特征1成功")
  18.     else:
  19.         print("提取特征1失败:", ret)

  21.     feature1 = ASFFaceFeature()
  22.     feature1.featureSize = face_feature.featureSize
  23.     feature1.feature = malloc(feature1.featureSize)
  24.     memcpy(c_void_p(feature1.feature),
  25.            c_void_p(face_feature.feature),
  26.            feature1.featureSize)

e. 特征比对 

按照前文所述再提取一张人脸的特征，即可以进行下面的人脸特征比对操作 

点击(此处)折叠或打开

  1. compare_threshold = c_float()
  2.     ret = arcsoft_face_func.compare_feature(
  3.         engine, feature1, feature2, compare_threshold
  4.     )

  6.     free(c_void_p(feature1.feature))
  7.     free(c_void_p(feature2.feature))

  9.     if ret == 0:
  10.         print("特征比对成功，相似度:", compare_threshold.value)
  11.     else:
  12.         print("特征比对失败:", ret)

f. 年龄、性别、3D Angle 

process接口目前提供了 年龄、性别、3D Angle、活体检测， 但年龄、性别、3D Angle支持多人脸，而活体只支持单人脸，因此下面分别处理。 

点击(此处)折叠或打开

  1. process_mask = arcsoft_face_func.ASF_AGE | \
  2.                    arcsoft_face_func.ASF_GENDER | \
  3.                    arcsoft_face_func.ASF_FACE3DANGLE

  5.     ret = arcsoft_face_func.process(
  6.         engine,
  7.         image1.width,
  8.         image1.height,
  9.         arcsoft_face_func.ASVL_PAF_RGB24_B8G8R8,
  10.         image_ubytes,
  11.         byref(detect_faces),
  12.         c_int32(process_mask)
  13.     )

  15.     if ret == 0:
  16.         print("process成功")
  17.     else:
  18.         print("process失败:", ret)

点击(此处)折叠或打开

  1. ######################## Age ################################

  3.     age_info = ASFAgeInfo()
  4.     ret = arcsoft_face_func.get_age(engine, byref(age_info))

  6.     if ret == 0:
  7.         print("get_age 成功")
  8.         age_ptr = cast(age_info.ageArray, POINTER(c_int))
  9.         for i in range(age_info.num):
  10.             print("face", i, "age:", age_ptr[i])
  11.     else:
  12.         print("get_age 失败:", ret)

  14. ####################### Gender #################################

  16.     gender_info = ASFGenderInfo()
  17.     ret = arcsoft_face_func.get_gender(engine, byref(gender_info))

  19.     if ret == 0:
  20.         print("get_gender 成功")
  21.         gender_ptr = cast(gender_info.genderArray, POINTER(c_int))
  22.         for i in range(gender_info.num):
  23.             print("face", i, "gender:",
  24.                   "女性" if (gender_ptr[i] == 1) else (
  25.                       "男性" if (gender_ptr[i] == 0) else "未知"
  26.                   ))
  27.     else:
  28.         print("get_gender 失败:", ret)

  30. ####################### 3D Angle #################################

  32.     angle_info = ASFFace3DAngle()
  33.     ret = arcsoft_face_func.get_3d_angle(engine, byref(angle_info))

  35.     if ret == 0:
  36.         print("get_3d_angle 成功")
  37.         roll_ptr = cast(angle_info.roll, POINTER(c_float))
  38.         yaw_ptr = cast(angle_info.yaw, POINTER(c_float))
  39.         pitch_ptr = cast(angle_info.pitch, POINTER(c_float))
  40.         status_ptr = cast(angle_info.status, POINTER(c_int32))
  41.         for i in range(angle_info.num):
  42.             print("face", i,
  43.                   "roll:", roll_ptr[i],
  44.                   "yaw:", yaw_ptr[i],
  45.                   "pitch:", pitch_ptr[i],
  46.                   "status:", "正常" if status_ptr[i] == 0 else "出错")

  48.     else:
  49.         print("get_3d_angle 失败:", ret)

g. RGB活体 

在活体检测之前建议按照实际场景设置活体阈值，不设置即使用默认阈值，这里设置了RGB活体的阈值为0.75。并将检测的多人脸分别转为单张人脸的参数传到接口中。


点击(此处)折叠或打开

  1. ######################### 活体阈值设置 ###############################
  2.     threshold_param = ASFLivenessThreshold()
  3.     threshold_param.thresholdmodel_BGR = 0.75
  4.     ret = arcsoft_face_func.set_liveness_param(engine,threshold_param)

  6.     if ret == 0:
  7.         print("set_liveness_param成功")
  8.     else:
  9.         print("set_liveness_param 失败:", ret)

  11.     temp_face_info = ASFMultiFaceInfo()
  12.     temp_face_info.faceNum = 1
  13.     LP_MRECT = POINTER(MRECT)
  14.     temp_face_info.faceRect = LP_MRECT(MRECT(malloc(sizeof(MRECT))))
  15.     LP_c_long = POINTER(c_long)
  16.     temp_face_info.faceOrient = LP_c_long(c_long(malloc(sizeof(c_long))))

  18.     for i in range(detect_faces.faceNum):
  19.         temp_face_info.faceRect[0] = detect_faces.faceRect[i]
  20.         temp_face_info.faceOrient[0] = detect_faces.faceOrient[i]

  22.         ret = arcsoft_face_func.process(
  23.             engine,
  24.             image1.width,
  25.             image1.height,
  26.             arcsoft_face_func.ASVL_PAF_RGB24_B8G8R8,
  27.             image_ubytes,
  28.             byref(temp_face_info),
  29.             c_int32(arcsoft_face_func.ASF_LIVENESS)
  30.         )

  32.         if ret == 0:
  33.             print("process成功")
  34.         else:
  35.             print("process失败:", ret)
  36.         ## RGB活体检测
  37.         ret = arcsoft_face_func.process(
  38.             engine,
  39.             image1.width,
  40.             image1.height,
  41.             arcsoft_face_func.ASVL_PAF_RGB24_B8G8R8,
  42.             image_ubytes,
  43.             byref(temp_face_info),
  44.             c_int32(arcsoft_face_func.ASF_LIVENESS)
  45.         )

  47.         if ret == 0:
  48.             print("process成功")
  49.         else:
  50.             print("process失败:", ret)

  52.         liveness_info = ASFLivenessInfo()
  53.         ret = arcsoft_face_func.get_liveness_info(engine, byref(liveness_info))

  55.         if ret == 0:
  56.             print("get_liveness_info 成功")
  57.             liveness_ptr = cast(liveness_info.isLive, POINTER(c_int))
  58.             print("face", i, "liveness:",
  59.                   "非真人" if (liveness_ptr[0] == 0) else (
  60.                       "真人" if (liveness_ptr[0] == 1) else (
  61.                           "不确定" if (liveness_ptr[0] == -1) else (
  62.                               "传入人脸数>1" if (liveness_ptr[0] == -2) else
  63.                               (liveness_ptr[0])
  64.                           )
  65.                       )
  66.                   ))
  67.         else:
  68.             print("get_liveness_info 失败:", ret)

最后，欢迎大家指教哦~

推荐你们了解虹软人脸识别SDK~
虹软人脸识别开放平台







阅读(910) | 评论(0) | 转发(0) |
0

上一篇：虹软AI 人脸识别SDK接入 — 参数优化篇

下一篇：虹软最新版 python 接口 完整版

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6