オブジェクト:-可視光を使用して Web カメラ マウスを実装するにはどうすればよいですか。
詳細:- i.stack.imgur.com/6ztqf.jpg のように、私の右手を可視光で見る Web カメラがあります :-
実際のマウスがあるのと同じように、(右手) の手でマウス ポインターを制御するシステムを作成したいと考えています。私はテーブルの上に手を置き、手に実際のネズミがあるかのように振る舞い、手にネズミがあるかのようにすべてのアクションを実行します。そして、通常の Web カメラ (精度を高くするには解像度が良いかもしれません) が、上から特定の角度で私の手を監視します。
それを行うための魔法の機械学習システムがあるとします。（カメラの位置を常に固定する、限られた長方形でマウスを常に移動するなど、あらゆる種類の制約を受け入れることができます...）
トレーニング フェーズでは、通常どおり実際のマウスを使用して、大量のデータを生成します。データは、入力としての多数の画像と、出力としてのマウス位置、クリックで構成されます。2 つのマイクを追加してクリック音を検出し、クリック音があることを確認するなど、あらゆることに柔軟に対応できます (ただし、実際のマウスからのマウス クリック音は、マウス クリックを模倣するためにテーブルに指を当てたときの音とは異なります)。しかし、音の存在はクリックがあることを確認します. そして、2 つのマイクは、それが左クリックか右クリックかを確認します.) これで、このすべてのデータを使って、私のシステムは、手とマウスのアクション (この最初のバージョンではあまり正確ではないかもしれません)。
実行段階では、マウスを取り外して、マウスがある場合と同じ位置に手を置き、このシステムを使用して手のイメージをマウス アクションに変換し始めます。テーブルの 2D 平面で持ち物を動かし、右/左クリックのように指を動かします。私のシステムは、リアルタイムで画像を取得し、トレーニング段階で収集したすべてのデータを利用して、マウス操作で画像を変換する必要があります。
これを構築する方法を教えてください。私はコンピューター ビジョンと機械学習について平均的な知識を持っています。
