OpenCVCheck

Project Url: SOFTPOWER1991/OpenCVCheck
Introduction: OpenCV 人脸识别、图片相似度检测
More: Author   ReportBugs   
Tags:

OpenCV 人脸识别、图片相似度检测

检测任意两张图片的相似度思路

  1. 加载两张图片为 bitmap 进入内存
  2. 将内存中的两张图片 bitmap 转换为 Mat 矩阵(Mat 类是 OpenCV 最基本的一个数据类型，它可以表示一个多维的多通道的数组。Mat 常用来存储图像，包括单通道二维数组——灰度图，多通道二维数组——彩色图)
  3. 把 Mat 矩阵的 type 转换为 Cv_8uc1(1 通道 8 位矩阵)类型，然后转换为 Cv_32F， 因为在 c++代码中会判断他的类型。
  4. 通过 OpenCv 来进行俩个矩阵的比较（俩个矩阵必须一样大小的高宽）

识别图片中是否有人脸思路

  1. 需要一个人脸的 Haar 特征分类器就是一个 XML 文件，该文件中会描述人脸的 Haar 特征值，CascadeClassifier 人脸探测器将该特征值集合加载入内存
  2. 加载图片为 bitmap 进入内存，将 bitmap 转换为 Mat 矩阵。
  3. 有了 Mat 矩阵，然后通过调用 OpenCV 的 Native 方法，人脸探测器 CascadeClassifier 在该 Mat 矩阵中检测当前是否有人脸。
  4. 如果有，我们会获取到一个 Rect 数组，里面会有人脸数据，然后将人脸画在屏幕上，方框或者圆形

识别两张图片中的人脸是否是同一个人脸思路

  1. 识别出人脸后会得到两个人脸的 Rect 数组，然后比较这两个 Rect 数组的相似度即可！

实现步骤

工程目录准备

  1. 新建 Android Studio 项目 OpenCVCheck
  2. 导入 OpenCVLibrary320

  3. 在 module 下的 build.gradle 中引入 OpenCVLibrary 的编译：

      compile project(':openCVLibrary320')

检测任意两张图片的相似度的实现步骤

  1. 初始化 OpenCV：

     static {
     if (OpenCVLoader.initDebug()) {
         Log.e(TAG, "OpenCV load success !");
     } else {
         Log.e(TAG, "OpenCV load failed !");
     }
 }

  2. 加载两张图片进入内存

     Bitmap mBitmap1 = BitmapFactory.decodeResource(getResources(), R.mipmap.pic1);
 Bitmap mBitmap2 = BitmapFactory.decodeResource(getResources(), R.mipmap.pic2);

  3. 将内存中的两张图片 bitmap 转换为 Mat 矩阵

     Mat mat1 = new Mat();
 Mat mat2 = new Mat();
 Mat mat11 = new Mat();
 Mat mat22 = new Mat();
 Utils.bitmapToMat(mBitmap1, mat1);
 Utils.bitmapToMat(mBitmap2, mat2);

 Imgproc.cvtColor(mat1, mat11, Imgproc.COLOR_BGR2GRAY);
 Imgproc.cvtColor(mat2, mat22, Imgproc.COLOR_BGR2GRAY);

  4. 把 Mat 矩阵的 type 转换为 Cv_8uc1(1 通道 8 位矩阵)类型，然后转换为 Cv_32F,通过 OpenCV 来进行俩个矩阵的比较

     /**
  * 比较来个矩阵的相似度
  *
  * @param srcMat
  * @param desMat
  */
 public void comPareHist(Mat srcMat, Mat desMat) {

     srcMat.convertTo(srcMat, CvType.CV_32F);
     desMat.convertTo(desMat, CvType.CV_32F);
     double target = Imgproc.compareHist(srcMat, desMat, Imgproc.CV_COMP_CORREL);

     textView.setText("相似度:" + target);
 }

识别图片中是否有人脸步骤

  1. 初始化 OpenCV

     if (!OpenCVLoader.initDebug()) {
    Log.d(TAG, "Internal OpenCV library not found. Using OpenCV Manager for initialization");
    OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_11, this, mLoaderCallback);
 } else {
    Log.d(TAG, "OpenCV library found inside package. Using it!");
    mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
 }

  2. 编译 .so 库

    通过 ndk 来编译 jni 文件下的.cpp 文件，生成.so 库，以备程序使用

  3. 加载.so 库

          // 在 Opencv 初始化完成后，调用 Native 库
      System.loadLibrary("detection_based_tracker");

  4. 加载需要的人脸的 Haar 特征分类器就是一个 XML 文件，该文件中会描述人脸的 Haar 特征值

    ``` private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {

        @Override
    public void onManagerConnected(int status) {
        switch (status) {
            case LoaderCallbackInterface.SUCCESS: {
                Log.i(TAG, "OpenCV loaded successfully");

                // Load native library after(!) OpenCV initialization
                System.loadLibrary("detection_based_tracker");

                try {
                    // load cascade file from application resources
                    InputStream is = getResources().openRawResource(R.raw.lbpcascade_frontalface);
                    File cascadeDir = getDir("cascade", Context.MODE_PRIVATE);
                    mCascadeFile = new File(cascadeDir, "lbpcascade_frontalface.xml");
                    FileOutputStream os = new FileOutputStream(mCascadeFile);

                    byte[] buffer = new byte[4096];
                    int bytesRead;
                    while ((bytesRead = is.read(buffer)) != -1) {
                        os.write(buffer, 0, bytesRead);
                    }
                    is.close();
                    os.close();

                    mJavaDetector = new CascadeClassifier(mCascadeFile.getAbsolutePath());
                    if (mJavaDetector.empty()) {
                        Log.e(TAG, "Failed to load cascade classifier");
                        mJavaDetector = null;
                    } else
                        Log.i(TAG, "Loaded cascade classifier from " + mCascadeFile.getAbsolutePath());

                    mNativeDetector = new DetectionBasedTracker(mCascadeFile.getAbsolutePath(), 0);

                    cascadeDir.delete();

                } catch (IOException e) {
                    e.printStackTrace();
                    Log.e(TAG, "Failed to load cascade. Exception thrown: " + e);
                }

               }
               break;
               default: {
                   super.onManagerConnected(status);
               }
               break;
           }
       }
   };
```

  1. 加载图片进入内存，得到 Mat 矩阵，有了 Mat 矩阵，然后通过调用 OpenCV 的 Native 方法，人脸探测器 CascadeClassifier 在该 Mat 矩阵中检测当前是否有人脸

              Bitmap imgtemp = BitmapFactory.decodeResource(getResources(), R.mipmap.twop);

          Utils.bitmapToMat(imgtemp, mRgba);

          Mat mat1 = new Mat();

          Utils.bitmapToMat(imgtemp, mat1);

          Imgproc.cvtColor(mat1, mGray, Imgproc.COLOR_BGR2GRAY);

          if (mAbsoluteFaceSize == 0) {
              int height = mGray.rows();
              if (Math.round(height * mRelativeFaceSize) > 0) {
                  mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize);
              }
              mNativeDetector.setMinFaceSize(mAbsoluteFaceSize);
          }

          MatOfRect faces = new MatOfRect();

          if (mDetectorType == JAVA_DETECTOR) {
              if (mJavaDetector != null)
                  mJavaDetector.detectMultiScale(mGray, faces, 1.1, 2, 2, // TODO: objdetect.CV_HAAR_SCALE_IMAGE
                          new Size(mAbsoluteFaceSize, mAbsoluteFaceSize), new Size());
          } else if (mDetectorType == NATIVE_DETECTOR) {
              if (mNativeDetector != null)
                  mNativeDetector.detect(mGray, faces);
          } else {
              Log.e(TAG, "Detection method is not selected!");
          }

  2. 如果有，我们会获取到一个 Rect 数组，里面会有人脸数据，然后将人脸画在屏幕上，方框或者圆形

      Rect[] facesArray = faces.toArray();
  for (int i = 0; i < facesArray.length; i++)
      Imgproc.rectangle(mRgba, facesArray[i].tl(), facesArray[i].br(), FACE_RECT_COLOR, 3);

  Utils.matToBitmap(mRgba, imgtemp, true);

  imageView.setImageBitmap(imgtemp);

## 识别两张图片中的人脸是否是同一个人脸步骤

 这个功能前面的步骤跟检测人脸的一样，唯一不同的就是：检测出两个人脸的 Rect 数组后，进行相似度比较：

 ```
 /**
      * 特征对比
      *
      * @param file1 人脸特征
      * @param file2 人脸特征
      * @return 相似度
      */
     public double CmpPic(String file1, String file2) {
         try {
             int l_bins = 256;
             int hist_size[] = {l_bins};
             float v_ranges[] = {0, 255};
             float ranges[][] = {v_ranges};
             opencv_core.IplImage Image1 = cvLoadImage(getFilePath(file1), CV_LOAD_IMAGE_GRAYSCALE);
             opencv_core.IplImage Image2 = cvLoadImage(getFilePath(file2), CV_LOAD_IMAGE_GRAYSCALE);
             opencv_core.IplImage imageArr1[] = {Image1};
             opencv_core.IplImage imageArr2[] = {Image2};
             opencv_imgproc.CvHistogram Histogram1 = opencv_imgproc.CvHistogram.create(1, hist_size, CV_HIST_ARRAY, ranges, 1);
             opencv_imgproc.CvHistogram Histogram2 = opencv_imgproc.CvHistogram.create(1, hist_size, CV_HIST_ARRAY, ranges, 1);
             cvCalcHist(imageArr1, Histogram1, 0, null);
             cvCalcHist(imageArr2, Histogram2, 0, null);
             cvNormalizeHist(Histogram1, 100.0);
             cvNormalizeHist(Histogram2, 100.0);

             double c1 = cvCompareHist(Histogram1, Histogram2, CV_COMP_CORREL) * 100;
             double c2 = cvCompareHist(Histogram1, Histogram2, CV_COMP_INTERSECT);
             return (c1 + c2) / 2;
         } catch (Exception e) {
             e.printStackTrace();
             return -1;
         }
     }
 ```

Highly Recommended：Google Play 4.7 Star Android Developer Tools, Decompile, View Manifest, Open Debug Options Quickly

Apps
Android Developer Tools
Android Developer Tools Pro
About Me
Tools: TimeShining
GitHub: Trinea
Facebook: Dev Tools