根据人脸图片构建简单的 3D 人脸模型，然后在摄像头预览画面中展示。基于该人脸模型进行换脸或者添加装饰品。

基于

• dlib-android-app
• dlib-android 提供 Android 平台可用的 Dlib 库。
• More Than Technical这篇文章 的头部姿态估算算法。
• LearnOpenCV.com 的换脸算法。
• Rajawali OpenGL ES 引擎。

应用截图

GIF 演示

显示人脸 3D 模型

显示装饰品

测试页面

原理

• 根据人脸图片构建 3D 人脸模型

  使用 Dlib 可以检测出人脸的 68 个关键点：

  

  根据这 68 个点可以连线得到一个低面数的人脸模型：

  

  我使用Blender 建立了该模型，这里称其为 BaseModel，格式为 obj。

• 动态修改 BaseModel

  查询 obj 文件结构可知，以“v”开头的行描述的是模型的顶点，以“vt”开头的行描述的是模型的贴图坐标点。

  那么只要找到这些点与人类关键点的对应关系，就可以简单地通过替换对应行的数据，来达到动态修改模型的目的。

不足

• Dlib 库依赖 shape_predictor_68_face_landmarks.dat，其大小约 100M，加载需要花费数秒。

• Dlib 库检测人脸的速度与图像的大小成反比，因此需要对摄像头的预览画面进行截取。

  截取得太小的话也检测不出人脸。在大小不影响检测的情况下，检测速度依然不理想。

• 由于是从单张图片构建 3D 人脸，无法获取 Z 轴的数值，所以在估算三维姿态时用的是模拟数据，得出的数值可能不准确。

构建

1. 按照dlib-android 描述的步骤来构建 Dlib-Android 库。
2. 从dlib-android-app 中找到 shape_predictor_68_face_landmarks.dat，将其复制到手机根目录中。

依赖库

• RxJava
• fastjson
• Realm
• Glide

Written with StackEdit.