問題タブ [coreml]

CoreML現在、モデルを使用してデータの確率を検出するアプリケーションに取り組んでいます。

しかし、Xcode プレイグラウンドでモデルを使用できるかどうかを知りたいですCoreML。テスト目的により便利になるからです。

Xcode 9 プレイグラウンドにモデルを追加しようとしましたが、運がありません。

UIImagea を ARGBに変換できますが、今はグレースケールの 1 つのバッファーCVPixelBufferに変換しようとしています。UIImageコードが通過するので、私はそれを持っていると思っていましたが、coreML モデルは次のように不平を言っています:

"Error Domain=com.apple.CoreML Code=1 "Image is not expected type 8-Gray, not is Unsupported (40)"

CGContextこれが私がこれまでに持っているグレースケールです：

どんな助けでも大歓迎です

Apple は Core ML を導入しました。訓練されたモデルを提供する多くのサードパーティがあります。

しかし、自分でモデルを作成したい場合はどうすればよいでしょうか? どうすればそれを行うことができ、どのツールとテクノロジーを使用できますか?

CoreML をテストするための小さなサンプル プログラムを作成しました。基本的な考え方は、VGG16 と Resnet50 などのいくつかのモデルの結果を組み合わせるというものです。

プロジェクトをコンパイルしようとすると、次のエラーが発生します。

1 つのプロジェクトで 2 つ以上のモデル ファイルを使用することはできますか? mlmodel ファイルの 1 つを削除すると、コンパイルされます。

CoreML の調査を開始したばかりで、同じものを使用して二項分類モデルをトレーニングする方法があるかどうか疑問に思っていました。

私はML初心者なので、参考文献や例を教えてください。

私は進行中のプロジェクト (つまり、Vuforia でネイティブ統合された Unity3D iOS プロジェクト、AVFoundation でフレームを抽出し、クラウドベースの画像認識を介して画像を渡す) のベスト プラクティスを調査し、複数のオプションを実験してきましたが、私は次のような結論に達しました。 ARkit、Vision Framework、および CoreML を使用したい。説明させてください。

ARFrame をキャプチャし、Vision Framework を使用して、CoreML モデルを使用して特定のオブジェクトを検出および追跡する方法を考えています。

さらに、ジェスチャ タッチで AR オブジェクトを追加する機能を備えたオブジェクトが認識されたら、バウンディング ボックスがあればいいのですが、これは堅実なプロジェクトをダウンさせた後に実装できるものです。

これは間違いなく可能ですが、ARFrames を Vision 経由で CoreML に渡して処理する方法がわかりません。

何か案は？

openCV + python を使用して顔認識用のデータセットを作成しました。Keras でこのデータセットを使用してモデルを作成したいと思います。出来ますか？

ピクセル バッファ用のこのコードがありますが、問題があります。何らかの理由で、画像は 224 x 224 である必要があります。2 つ目の問題は、CoreML がそれほど正確ではないことです。ピクセル バッファを設定するより正確な方法が必要です。

インポート CoreVideo インポート UIKit インポート CoreImage

この解決策は少し冗長に思えます。

Apple は、ビジョン フレームワークを使用してモデルなしでオブジェクト検出を行うことができる iOS 11 の新機能を備えています。これらの新しい API を試してみましたが、VNDetectRectanglesRequest の結果が良くないことがわかりました。API を正しく使用していますか?

ここにいくつかの良いケースがあります:

そしていくつかの悪いケース:

これが私のコードです：

サイズが 500MB を超えるいくつかのモデルを使用する予定ですが、それらを埋め込みたくありません。そうしないと、アプリが巨大になり、あまり望ましくありません。

ありがとう、