ユーザーが単純なタスクの手順を記録し、これらの手順を示す人々に送信するファイルを生成できるようにするプログラムに取り組んでいます。そのため、ウィンドウを左クリックすると、「ユーザーが Google Chrome で左クリックしました」と表示され、適切なスクリーンショットと強調表示されたカーソルが表示されます。
グローバルマウス/キーリスナーには Java Native Hook Found hereを使用し、クリックされたアプリケーションのタイトルを取得するためにJava Native Access Found hereを使用しています。
テキストが入力されている領域を強調するものを含めたいと思います。現時点では、ユーザーがテキストボックスをクリックしたときにスクリーンショットを撮り、押されたすべてのキーを（ガイド用に）保存し、テキストが入力された後に2番目のスクリーンショットを撮り、ハイライトのアウトラインを追加することを考えています文章。
キャレットの場所を取得できれば強調表示を生成する方が簡単だと思いますが、グローバル アプリケーションでこれを行う方法が正確にはわかりません。