問題タブ [yolo]

ビデオを正常に処理し、アルゴリズムに顔を検出させましたが、リアルタイムで顔を検出して、画面から画像をキャプチャしようとしています (ゲームをプレイしているときなど)。キャプチャしたビデオの処理に使用:

これを変更して、画面からリアルタイムで画像をキャプチャするにはどうすればよいですか? 可能であれば、いくつかのコード例を教えてください。

これがYOLOのアーキテクチャです。各レイヤーの出力サイズを自分で計算しようとしていますが、論文に記載されているサイズを取得できません。

たとえば、最初の Conv Layer では、入力サイズは 448x448 ですが、ストライド 2 の 7x7 フィルターを使用しますが、この式によるとW2=(W1−F+2P)/S+1 = (448 - 7 + 0) /2 + 1、整数の結果が得られないため、フィルター サイズが入力サイズに適合していないようです。

誰でもこの問題を説明できますか？YOLO アーキテクチャを見逃したり、誤解したりしましたか?

このリポジトリを実行して、Darkflow で YOLO を実装しようとしましたが、この奇妙なエラーが発生しました (以下のスタック)。テンソルフローとopencvなどの他のパッケージを再インストールしましたが、それらは適切に配置されています。また、インターネット上でも情報はほとんどありません。この問題に関するアイデアは大歓迎です。

私は現在、Darknet YOLO ( https://pjreddie.com/darknet/yolo/ ) コンピューター ビジョン パッケージを Unity に統合しようとしています。これは、Hololens デバイスでのリアルタイム オブジェクト検出の速度を研究プロジェクトで調査するためです。 . これまでのところ、YOLO パッケージを DLL ファイルとしてエクスポートし、Unity に関数呼び出しを介して通信させることができました。以下は、YOLO パッケージの一部である yolo_dll.cpp ファイル内に作成したマーシャリングされた関数です。これらは、Unity 側から呼び出す関数です。

次に、C++ 側のもののシグネチャと一致する、私が呼び出すマーシャリングされた C# 関数を次に示します。

PhotoCapture クラスを使用してコンピューターの Web カメラで写真を撮る Unity スクリプトがあり、写真をメモリに保存すると、外部の c++ detect() 関数を呼び出して、最近撮影した写真をメモリから取得し、オブジェクトを検出します。オブジェクトが画像内にある場所を特定するバウンディング ボックスの配列を返します。バウンディング ボックスの配列が返されたら、とりあえず Unity コンソールですべてのログをデバッグし、コンソールに情報が出力されたらすぐに、写真を撮って YOLO detect() を使用するプロセスを繰り返します。 . Unity と YOLO が正常に通信できるようになりました。ただし、平均して、1 つの画像のバウンディング ボックスが表示されてから次の画像が表示されるまでに 10 秒かかります。s バウンディング ボックスが Unity デバッグ コンソールに表示されました。画像を処理してリアルタイム (30 ～ 60 fps) でフィードバックを出力するには、YOLO パッケージが必要で、Unity だけでなく Hololens でも動作する必要があります。これをビルドとして Hololens にエクスポートしようとしましたが、Hololens 内でアプリケーションを開こうとすると、単に開きませんでした。したがって、いくつか質問があります。

• 常に写真を撮って個別に処理するのではなく、Unity のビデオ キャプチャ機能を YOLO に統合することはできますか? これは Hololens で動作しますか?
• YOLO パッケージでは、#ifdef GPU を含むすべてのセクションをコメントアウトする必要がありました。それらのいずれかがアクティブであると、「再生」を押したときに Unity がクラッシュするだけだったからです。これらのセクションをどうにかして Unity で動作させることはできますか? また、処理時間を短縮できますか?
• 画像解析サイクル間の大きな遅延に役割を果たしている DLL を介して YOLO からマーシャリングされた関数を呼び出すことはありますか? これを補う方法はありますか？
• 外部の DLL を使用していることが、アプリケーションが Hololens 内で開かない理由ですか?

YOLO のリアルタイム オブジェクト検出機能を実装できるように、このパッケージを Hololens に統合できるようにするための正しい方向へのステップを大いに感謝します!