在安卓上使用ML Kit扫描条形码

您可以使用ML kit来识别并且解码条码。

有关此API使用的示例,请参阅GitHub上的ML Kit快速入门示例。

在您开始之前

  1. 如果您还没有将Firebase添加到您的程序当中,那您可以从开始指南来开始您的工作。

  2. 在app-level的build.gradle 文件中为ML kit添加依赖:

    1. dependencies {
    2. // ...
    3. implementation 'com.google.firebase:firebase-ml-vision:15.0.0'
    4. }
  3. 可选但建议:如果您使用设备上的API,请将应用配置为在从Play商店安装应用后自动将ML模型下载到设备:

    1. <meta-data
    2. android:name="com.google.firebase.ml.vision.DEPENDENCIES"
    3. android:value="text" />
    4. <!-- 为了能够使用多个模型: android:value="text,model2,model3" -->

    如果您未启用安装时模型下载,则将在您首次运行设备上识别器的时候开始下载该模型。在下载完成之前发出的请求不会有任何结果。

配置条形码识别器

如果您知道您希望读取哪种条形码格式,可以通过将其配置为仅检测这些格式来提高条形码识别器的识别速度。

例如,假设您只希望识别Aztec和QR码,您可以构建一个 FirebaseVisionBarcodeDetectorOptions 对象,如下所示:

  1. FirebaseVisionBarcodeDetectorOptions options =
  2. new FirebaseVisionBarcodeDetectorOptions.Builder()
  3. .setBarcodeFormats(FirebaseVisionBarcode.FORMAT_QR_CODE,
  4. FirebaseVisionBarcode.FORMAT_AZTEC)
  5. .build();

支持以下格式:

  • Code 128 (FORMAT_CODE_128)
  • Code 39 (FORMAT_CODE_39)
  • Code 93 (FORMAT_CODE_93)
  • Codabar (FORMAT_CODABAR)
  • EAN-13 (FORMAT_EAN_13)
  • EAN-8 (FORMAT_EAN_8)
  • ITF (FORMAT_ITF)
  • UPC-A (FORMAT_UPC_A)
  • UPC-E (FORMAT_UPC_E)
  • Data Matrix (FORMAT_DATA_MATRIX)
  • QR Code (FORMAT_QR_CODE)
  • PDF417 (FORMAT_PDF417)
  • Aztec (FORMAT_AZTEC)

运行条形码识别器

识别图像中的条形码,从任一个Bitmapmedia.ImageByteBuffer或者字节阵列创建一个FirebaseVisionImage对象,抑或在设备上的文件中选取。然后,传递FirebaseVisionImage对象到 FirebaseVisionBarcodeDetectordetectInImage方法。

  1. 从图像中创建一个FirebaseVisionImage对象。

    • Bitmap对象创建FirebaseVisionImage 对象:

      1. FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);

      Bitmap物体 表示的图像必须是直立的,不要任何额外的旋转。

    • 要从media.Image对象创建FirebaseVisionImage对象 (例如从设备的相机捕捉图像时),首先要确定图像必须旋转的角度,以补偿设备的旋转和相机传感器在设备中的方向差:

      1. private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
      2. static {
      3. ORIENTATIONS.append(Surface.ROTATION_0, 90);
      4. ORIENTATIONS.append(Surface.ROTATION_90, 0);
      5. ORIENTATIONS.append(Surface.ROTATION_180, 270);
      6. ORIENTATIONS.append(Surface.ROTATION_270, 180);
      7. }
      8. /**
      9. * 得到当前图像需要补偿的角度
      10. */
      11. @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
      12. private int getRotationCompensation(String cameraId, Activity activity, Context context)
      13. throws CameraAccessException {
      14. // 得到设备当前与原始的角度的旋转差值
      15. // 然后照片一定要旋转回去相对的差值
      16. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
      17. int rotationCompensation = ORIENTATIONS.get(deviceRotation);
      18. // 在大多数的设备上,传感器的方向是90度。但是对于
      19. // 少数设备,这个值是270度。那么对于这些270度的设备
      20. // 必须让照片旋转额外的180 ((270 + 270) % 360) 度.
      21. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
      22. int sensorOrientation = cameraManager
      23. .getCameraCharacteristics(cameraId)
      24. .get(CameraCharacteristics.SENSOR_ORIENTATION);
      25. rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;
      26. // 返回相关的FirebaseVisionImageMetadata rotation值。
      27. int result;
      28. switch (rotationCompensation) {
      29. case 0:
      30. result = FirebaseVisionImageMetadata.ROTATION_0;
      31. break;
      32. case 90:
      33. result = FirebaseVisionImageMetadata.ROTATION_90;
      34. break;
      35. case 180:
      36. result = FirebaseVisionImageMetadata.ROTATION_180;
      37. break;
      38. case 270:
      39. result = FirebaseVisionImageMetadata.ROTATION_270;
      40. break;
      41. default:
      42. result = FirebaseVisionImageMetadata.ROTATION_0;
      43. Log.e(TAG, "Bad rotation value: " + rotationCompensation);
      44. }
      45. return result;
      46. }

      然后,将media.Image对象和旋转值传递给FirebaseVisionImage.fromMediaImage()

      1. FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
    • 要从一个字节数组或ByteBuffer创建一个FirebaseVisionImage对象,首先按照上面的描述计算图像旋转角度。

      然后,创建一个包含图像高度,宽度,颜色编码格式和旋转度的FirebaseVisionImageMetadata对象:

      1. FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
      2. .setWidth(1280)
      3. .setHeight(720)
      4. .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
      5. .setRotation(rotation)
      6. .build();

      使用缓冲区或数组以及元数据对象来创建一个 FirebaseVisionImage对象:

      1. FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
      2. // 或者: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
    • 要从文件创建FirebaseVisionImage对象,请将应用context和文件URI传递给FirebaseVisionImage.fromFilePath()

      1. FirebaseVisionImage image;
      2. try {
      3. image = FirebaseVisionImage.fromFilePath(context, uri);
      4. } catch (IOException e) {
      5. e.printStackTrace();
      6. }
  2. 得到一个 FirebaseVisionBarcodeDetector实例:

    1. FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
    2. .getVisionBarcodeDetector();
    3. // 或者,指定想要识别的格式:
    4. // FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
    5. // .getVisionBarcodeDetector(options);
  3. 最后,将图像传递给detectInImage方法:

    1. Task<List<FirebaseVisionBarcode>> result = detector.detectInImage(image)
    2. .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionBarcode>>() {
    3. @Override
    4. public void onSuccess(List<FirebaseVisionBarcode> barcodes) {
    5. // 任务成功
    6. // ...
    7. }
    8. })
    9. .addOnFailureListener(new OnFailureListener() {
    10. @Override
    11. public void onFailure(@NonNull Exception e) {
    12. // 任务失败并且报错
    13. // ...
    14. }
    15. });

从条形码获取信息

如果条形码识别操作成功,会将一个FirebaseVisionBarcode对象数组 传递给成功侦听器(success listener)。每个FirebaseVisionBarcode对象代表图像中检测到的条形码。对于每个条形码,您可以在输入图像中获取其边界坐标以及由条形码编码的原始数据。此外,如果条形码检测器能够确定条形码编码的数据类型,则可以获取包含解析数据的对象。

例如:

  1. for (FirebaseVisionBarcode barcode: barcodes) {
  2. Rect bounds = barcode.getBoundingBox();
  3. Point[] corners = barcode.getCornerPoints();
  4. String rawValue = barcode.getRawValue();
  5. int valueType = barcode.getValueType();
  6. // 完整的支持类型请查看API文档
  7. switch (valueType) {
  8. case FirebaseVisionBarcode.TYPE_WIFI:
  9. String ssid = barcode.getWifi().getSsid();
  10. String password = barcode.getWifi().getPassword();
  11. int type = barcode.getWifi().getEncryptionType();
  12. break;
  13. case FirebaseVisionBarcode.TYPE_URL:
  14. String title = barcode.getUrl().getTitle();
  15. String url = barcode.getUrl().getUrl();
  16. break;
  17. }
  18. }