さまざまな Web サービスから大量のデータ (数百万回の呼び出しと考えてください) をクロールするコンソール/デスクトップ アプリケーションがあります。任意の時点で、これらの呼び出しを実行し、データを MySql データベースに集約する約 10 のスレッドがあります。すべてのシードもデータベースに保存されます。
その進捗状況を報告する最良の方法は何でしょうか? 進行状況とは、次のことを意味します。
- すでに実行された呼び出しの数
- 失敗した数
- 平均通話時間は?
- 残りいくら
それらすべてを何らかの方法でログに記録し、ログを追跡してデータを取得することを考えました。もう 1 つのアイデアは、何らかの形式の UI がデータを読み取って集計を表示できる、常に開いている TCP エンドポイントに何らかの出力を提供することでした。どちらの方法も大まかで複雑すぎるように見えます。
他のアイデアはありますか?