ios - Vision VNTextObservation を文字列に変換する

 if #available(iOS 11.0, *) {
            guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {return}

            var requestOptions:[VNImageOption : Any] = [:]

            if let camData = CMGetAttachment(sampleBuffer, kCMSampleBufferAttachmentKey_CameraIntrinsicMatrix, nil) {
                requestOptions = [.cameraIntrinsics:camData]
            }

            let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer,
                                                            orientation: 6,
                                                            options: requestOptions)

            let request = VNDetectTextRectanglesRequest(completionHandler: { (request, _) in
                guard let observations = request.results else {print("no result"); return}
                let result = observations.map({$0 as? VNTextObservation})
                DispatchQueue.main.async {
                    self.previewLayer.sublayers?.removeSubrange(1...)
                    for region in result {
                        guard let rg = region else {continue}
                        self.drawRegionBox(box: rg)
                        if let boxes = region?.characterBoxes {
                            for characterBox in boxes {
                                self.drawTextBox(box: characterBox)
                            }
                        }
                    }
                }
            })
            request.reportCharacterBoxes = true
            try? imageRequestHandler.perform([request])
        }
    }

今、私は実際にテキストを再調整しようとしています。Apple は組み込みの OCR モデルを提供していません。そのために CoreML を使用したいので、Tesseract でトレーニングされたデータモデルを CoreML に変換しようとしています。

Tesseract モデルはhttps://github.com/tesseract-ocr/tessdataで見つけることができます。次のステップは、これらのタイプの入力をサポートし、.coreML ファイルを出力する coremltools コンバーターを作成することだと思います。

または、TesseractiOS に直接リンクして、Vision API から取得したリージョンボックスと文字ボックスをフィードすることもできます。

ios - Vision VNTextObservation を文字列に変換する

8 に答える 8

Related

Reference