computer-vision - kinectでジェスチャーの開始と終了を検出する方法は？

Question

私はジェスチャーのワンショット学習に取り組んでいます。ほとんどのジェスチャは、左手と右手を動かすことを含み、手の関節は、KinectSDKの骨格トレースライブラリを使用して簡単に検出できます。手関節の軌道の座標を最終的にジェスチャを分類するアルゴリズムにフィードできるように、ジェスチャの開始と終了を推測する方法に関する問題に直面していますか？

Answer 1

学習エンジン内で未知のジェスチャの開始を検出する方法はありません。システムが学習するためにジェスチャが開始されようとしていることをシステムに通知する個別のアクションが必要です。この個別のアクションがないと、システムは、ジェスチャの開始であるモーション、開始に向かって移動するモーション、エンジンが気にしない任意のモーションを知ることができません。

状況に応じて、機能する可能性のある個別のアクションがいくつかあります。

1. キーボードまたはマウスのアクション
2. 新しいジェスチャを示す既知のジェスチャは、開始/終了することです
3. 音声認識を使用して、開始/終了していることをエンジンに通知します
4. ユーザーがジェスチャの「位置1」に到達し、プロンプトが表示されたら開始するための短いカウントダウンタイマーを備えたアクション。
5. すべてのジェスチャに単一の原点があります。学習アクションの開始を示すために、手を少しの間そこに保持します。

何らかの形の個別のアクションがないと、システムはあなたが何を望んでいるかを知ることができません。それは常に推測し、システムが間違って推測する状況に常に遭遇します。

既知のジェスチャで実行する場合、メソッドはデータの保存方法とジェスチャの複雑さに依存します。これらがどのように機能するかを確認するために確認できる2つのジェスチャライブラリを次に示します。

• http://kinecttoolbox.codeplex.com/
• https://github.com/EvilClosetMonkey/Fizbin.Kinect.Gestures

また、各状況でジェスチャデータがどのように保存されるかに基づいて、ジェスチャを開始/終了する方法のアイデアを提供するのに役立つ場合があります。