MLKit

Project Url: jenly1314/MLKit
Introduction: 🌝 MLKit 是一个强大易用的工具包。通过 ML Kit 您可以很轻松的实现文字识别、条码识别、图像标记、人脸检测、对象检测等功能。
More: Author   ReportBugs   
Tags:

Download MavenCentral JitPack CircleCI License

ML Kit 是一个能够将谷歌专业的机器学习知识带到应用中的极其简单易用的封装包。无论您是否有机器学习的经验，您都可以在几行代码中实现您想要的功能。甚至，您无需对神经网络或者模型优化有多深入的了解，也能完成您想要做的事情。

基于现有的 API 您可以很轻松的实现文字识别、条码识别、图像标签、人脸检测、对象检测等功能；另一方面，如果您是一位经验丰富的 ML 开发人员，ML Kit 甚至提供了便利的 API，可帮助您在移动应用中使用自定义的 TensorFlow Lit 模型。

GIF 展示

Image

因为功能太多，所以仅录制演示了部分功能

你可以直接下载 演示 App 体验效果

各 Module 相关说明

app

示例 App：主要用于提供 MLKit 各个子库的演示效果

~mlkit-camera-core~ 已移除（从 2.0.0 版本开始改用 CameraScan）

Camera：为各个子库提供相机预览分析的核心库

参见CameraX

mlkit-common

公共库：介于 Camera 与各个子库之间，为各个字库提供公共业务，从而简化各子库的实现

mlkit-barcode-scanning

条码扫描：通过分析图像能够识别条码的内容信息

参见barcode-scanning

mlkit-face-detection

人脸检测：通过分析图像能够检测到人脸和分析面部轮廓关键点信息

参见face-detection

人脸网格检测：通过分析图像能够检测到人脸网格信息

参见face-mesh-detection

mlkit-image-labeling

图像标签：通过分析图像能够标记一般对象、场所、动物种类、产品等

参见image-labeling

mlkit-object-detection

对象检测：通过分析图像能够检测出图像中的对象的位置信息（一张图最多可以检测五个对象）

参见object-detection

mlkit-pose-detection

姿势检测：通过分析图像能够检测人物摆姿势的关键点信息

参见pose-detection

mlkit-pose-detection-accurate

姿势检测（精确版）：通过分析图像能够检测人物摆姿势的关键点信息（精确版的依赖库也略大一点）

参见pose-detection

mlkit-segmentation-selfie

自拍分割：通过分析图像能够将自拍照的人物特征进行分割

参见selfie-segmentation

mlkit-text-recognition

文字识别：识别图像中的文字信息

参见text-recognition

引入

Gradle:

  1. 在 Project 的 build.gradle 或 setting.gradle 中添加远程仓库

     repositories {
     //...
     mavenCentral()
 }

  2. 在 Module 的 build.gradle 里面添加引入依赖项

    
 //公共库 (*必须)
 implementation 'com.github.jenly1314.MLKit:mlkit-common:2.3.0'

 //--------------------------

 //条码识别 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-barcode-scanning:2.3.0'

 //人脸检测 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-face-detection:2.3.0'

 //人脸网格检测 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-face-mesh-detection:2.3.0'

 //图像标签 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-image-labeling:2.3.0'

 //对象检测 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-object-detection:2.3.0'

 //姿势检测 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-pose-detection:2.3.0'

 //姿势检测精确版 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-pose-detection-accurate:2.3.0'

 //自拍分割 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-segmentation-selfie:2.3.0'

 //文字识别 (可选)
 implementation 'com.github.jenly1314.MLKit:mlkit-text-recognition:2.3.0'

温馨提示

关于 MLKit 版本与编译的 SDK 版本要求

使用 v2.1.x 以上版本时，要求 compileSdkVersion >= 34

使用 v2.0.x 以上版本时，要求 compileSdkVersion >= 33

如果 compileSdkVersion < 33 请使用 v1.x 版本

使用

版本变化说明

2.x 版本的变化

从 1.x 到 2.x 主要变化如下：

  • 1.x 版本的 mlkit-camera-core 核心基础库被移除了；

    从 2.0.0 版本开始改为依赖CameraScan；（CameraScan是一个独立的库，单独进行维护）

  • 1.x 版本 mlkit-barcode-scanning 中的 ViewfinderView 被移除了；

    从 2.0.0 版本开始改为依赖ViewfinderView；（ViewfinderView是一个独立的库，单独进行维护）

基于以上两点主要差异：2.x 的主要使用方式和 1.x 基本类似，部分细节有所变更。

如果你是从 1.x 版本升级至 2.x 版本，那么你需要知道上面所说的差异；特别是独立出去单独维护的库，其包名都有所变化，这一点需要注意一下，大部分变动只需变更导入的包名即可完成升级。

如果你使用的是 1.x 版本的话请直接查看 v1.x 分支版本

2.x 版本的使用

2.x 的实现主要是以CameraScan作为基础库去实现具体的分析检测功能，所以你可以直接去看CameraScan的使用说明，只要知道了CameraScan是怎么用的，自然就会使用 MLKit 里面所有的子模块了。

各个子模块的核心类说明

下面就列一下各个子模块实现的具体功能和核心类；主要包括实现对应功能的 Analyzer 和便于快速实现扫描检测的 BaseCameraScanActivity 或 BaseCameraScanFragment 的子类。

功能 所属子模块 对应的 Analyzer 实现 对应的 BaseCameraScanActivity 子类
条码扫描 mlkit-barcode-scanning BarcodeScanningAnalyzer BarcodeCameraScanActivity/QRCodeCameraScanActivity
人脸检测 mlkit-face-detection FaceDetectionAnalyzer FaceCameraScanActivity
人脸网格检测 mlkit-face-mesh-detection FaceMeshDetectionAnalyzer FaceMeshCameraScanActivity
图像标签 mlkit-image-labeling ImageLabelingAnalyzer ImageCameraScanActivity
对象检测 mlkit-object-detection ObjectDetectionAnalyzer ObjectCameraScanActivity
姿势检测 mlkit-pose-detection PoseDetectionAnalyzer PoseCameraScanActivity
姿势检测（精确版） mlkit-pose-detection-accurate AccuratePoseDetectionAnalyzer AccuratePoseCameraScanActivity
自拍分割 mlkit-segmentation-selfie SegmentationAnalyzer SegmentationCameraScanActivity
文字识别 mlkit-text-recognition TextRecognitionAnalyzer TextCameraScanActivity

xxx CameraScanActivity 和 xxx BaseCameraScanFragment 在上面只列出了一个，因为有一个 xxx CameraScanActivity 就有一个与之对应的 xxx CameraScanFragment；命名前缀一样，使用方式也基本一样。

条形码检测分析示例（mlkit-barcode-scanning）

支持检测识别的条形码格式主要有：

  • 线性格式：Codabar, Code 39, Code 93, Code 128, EAN-8, EAN-13, ITF, UPC-A, UPC-E
  • 2D 格式：Aztec, Data Matrix, PDF417, QR Code
BarcodeDecoder.process(bitmap).addOnSuccessListener(this) {
   if (it.isNotEmpty()) {
      // TODO 成功；此处可获取识别的结果
   } else {
      // TODO 没有结果
   }
}.addOnFailureListener(this) {
   // TODO 失败；出现异常
}

各个 module 的使用示例

mlkit-common （1.3.0 新增）

公共库：介于 Camera 与各个子库之间，为各个字库提供公共业务，从而简化各子库的实现。

mlkit-barcode-scanning

扫条形码/二维码实现示例：通过直接继承 BarcodeCameraScanActivity 实现的示例 BarcodeScanningActivity

扫二维码实现示例：通过间接继承 BarcodeCameraScanActivity 实现的示例 QRCodeScanningActivity

扫二维码（多个结果）实现示例：通过间接继承 BarcodeCameraScanActivity 实现的示例 MultipleQRCodeScanningActivity

mlkit-face-detection

人脸检测实现示例：通过直接继承 FaceCameraScanActivity 实现的示例 FaceDetectionActivity

多人脸检测实现示例：通过间接继承 FaceCameraScanActivity 实现的示例 MultipleFaceDetectionActivity

mlkit-face-mesh-detection （1.2.0 新增）

人脸网格检测实现示例：通过直接继承 FaceMeshCameraScanActivity 实现的示例 FaceMeshDetectionActivity

mlkit-image-labeling

图像标签实现示例：通过直接继承 ImageCameraScanActivity 实现的示例 ImageLabelingActivity

mlkit-object-detection

对象检测实现示例：通过直接继承 ObjectCameraScanActivity 实现的示例 ObjectDetectionActivity

多对象检测实现示例：通过间接继承 ObjectCameraScanActivity 实现的示例 MultipleObjectDetectionActivity

mlkit-pose-detection

姿势检测实现示例：通过直接继承 PoseCameraScanActivity 实现的示例 PoseDetectionActivity

mlkit-pose-detection-accurate

姿势检测（精确版）实现示例：通过间接继承 AccuratePoseCameraScanActivity 实现的示例 AccuratePoseDetectionActivity

mlkit-segmentation-selfie

自拍分割实现示例：通过直接继承 SegmentationCameraScanActivity 实现的示例 SelfieSegmentationActivity

mlkit-text-recognition

文字识别实现示例：通过直接继承 TextCameraScanActivity 实现的示例 TextRecognitionActivity

模型配置（可选）

关于依赖项下载模型（如果选择使用 Google Play Services 中的模型）则可以通过在 AndroidManifest 中申明配置


<meta-data android:name="com.google.firebase.ml.vision.DEPENDENCIES"
    android:value="ocr" /><!-- To use multiple models: android:value="ocr,model2,model3" -->

如：配置 Barcode 模型、Face 模型、OCR 模型等等~


<meta-data android:name="com.google.firebase.ml.vision.DEPENDENCIES"
    android:value="barcode,face,ocr" />

更多使用详情，请查看app中的源码使用示例或直接查看 API 帮助文档

其他

ABI 过滤

在 Module 的 build.gradle 里面的 android{} 中设置支持的 SO 库架构（可选，支持多个平台的 so，支持的平台越多，APK 体积越大）

    defaultConfig {

        //...

        ndk {
            //设置支持的 SO 库架构（开发者可以根据需要，选择一个或多个平台的 so）
            abiFilters 'armeabi-v7a' // , 'arm64-v8a', 'x86', 'x86_64'
        }
    }

JDK 版本

需使用 JDK8+编译，在你项目中的 build.gradle 的 android{}中添加配置：

compileOptions {
    sourceCompatibility JavaVersion.VERSION_1_8
    targetCompatibility JavaVersion.VERSION_1_8
}

相关推荐

  • ZXingLite 基于 zxing 实现的扫码库，优化扫码和生成二维码/条形码功能。
  • WeChatQRCode 基于 OpenCV 开源的微信二维码引擎移植的扫码识别库。
  • CameraScan 一个简化扫描识别流程的通用基础库。
  • ViewfinderView ViewfinderView 一个取景视图：主要用于渲染扫描相关的动画效果。
  • LibYuv 基于 Google 的 libyuv 编译封装的 YUV 转换工具库，主要用途是在各种 YUV 与 RGB 之间进行相互转换、裁减、旋转、缩放、镜像等。
  • LogX 一个小而美的日志记录框架；好用不解释。

版本日志

v2.3.0：2025-1-15

  • 更新 CameraScan 至 v1.3.0
  • 更新 MLKit 相关依赖库版本

查看更多版本日志

赞赏

如果您喜欢 MLKit，或感觉 MLKit 帮助到了您，可以点右上角“Star”支持一下，您的支持就是我的动力，谢谢 :smiley:

您也可以扫描下面的二维码，请作者喝杯咖啡 :coffee:

关于我

我的博客 GitHub Gitee CSDN 博客园
Jenly's Blog jenly1314 jenly1314 jenly121 jenly

联系我

微信公众号 Gmail 邮箱 QQ 邮箱 QQ 群 QQ 群
Jenly666 jenly1314 jenly1314 20867961 64020761

Highly Recommended：Google Play 4.7 Star Android Developer Tools, Decompile, View Manifest, Open Debug Options Quickly

Apps
Android Developer Tools
Android Developer Tools Pro
About Me
Tools: TimeShining
GitHub: Trinea
Facebook: Dev Tools