問題タブ [keypoint]

私は、体の部分 (左足、左膝、左腰など) のキーポイント予測を行う Keras ニューラル ネットワークに取り組んでいます。各画像 (X) のターゲット (Y) は、キーポイント (left_foot_x、left_foot_y、left_knee_x、left_knee_y) など) の座標のリストです。キーポイントが表示されないときは常に、X 座標と Y 座標は = 0 になります。

0 は実際には NA を意味する (つまり、キーポイントが表示されない) ため、データをこの状態のままにしておくと悪い結果が生じると思います。X 座標と Y 座標を 0 のままにすると、キーポイントが実際にはコーナーにあることが示唆されますが、これは false です。正しい出力が時々 NA である場合、マルチターゲット回帰を行うためにデータを構造化する正しい方法は何ですか?

体の部位のキーポイントを検出するモデルを構築しています。そのために、COCO データセット ( http://cocodataset.org/#download ) を使用しています。オーバーフィッティングの問題が発生する理由を理解しようとしています (トレーニングの損失は収束しますが、損失をテストするために非常に早い段階で上限に達します)。モデルでは、ドロップアウトのレイヤーを追加しようとしました (徐々に確率の高いレイヤーを追加しますが、トレーニングの損失が減少しなくなる点にすぐに到達しますが、これは同様に悪いことです。私の理論では、私が使用するモデルはそうではありません十分に複雑ですが、それが理由である可能性が高いのか、それとも別の理由である可能性があるのか​​ を知りたい. オンラインで見つけたモデルはすべて非常に深い (30 + レイヤー).

データ

それぞれに 1 人の人物が写っている 10,000 個の RGB 画像を使用しています。サイズはそれぞれ異なりますが、最大長さと幅は 640 です。前処理のステップとして、余分な領域 (画像の下部と右側) を (0,0,0) または黒で塗りつぶして、すべての画像のサイズを 640x640 にします。

ターゲット

完全なデータセットには多くのキーポイントがありますが、私が興味を持っているのは右肩、右肘、および右手首だけです。各ボディ パーツには 2 つのキーポイント (X 座標と Y 座標) があるため、ターゲットは長さ 6 のリストです。

モデル

OpenCV_Contrib を使用して、人間の顔のランドマークを検出しようとしています。ただし、顔ランドマークの検出にはいくつかの問題があります。

以前に「 https://github.com/opencv/opencv_3rdparty/blob/8afa57abc8229d611c4937165d20e2a2d9fc5a12/face_landmark_model.dat 」を使用する必要があるという回答を 1 つ受け取りました。

動作しますが、間違った顔ランドマークを検出します。 ここに画像の説明を入力

完璧にするために、フェイスマークに必要なモデルを見つける必要があります-> loadmodel("loadmodel") * 68 ポイントの顔

FacemarkKazemi->loadModel(); を呼び出すにはどうすればよいですか?

私の好奇心を解決してください。

画像のキーポイントと記述子をjsonオブジェクトとしてサーバーリクエストを送信しようとしています...これが私のコードです..

しかし、次のエラーが表示されます........

誰でもこれの解決策を教えてもらえますか?