Twitter ストリーミング API からツイートをダウンロードするためのプラットフォームを作成するよう依頼されました。基本的な考え方は、何をダウンロードするか (キーワード) とデータをシリアル化する方法に関する情報を含むタスクを生成するコントローラーを用意することです。このタスクはリモート サーバー (同じまたは別のネットワーク) に送信され、タスクが実行され、定期的にツイートが DB に保存されます。私が必要とするのはこれです：
- コントローラー: Fetchers にタスクを送信するには、Fetchers との接続が必要です。すべてのフェッチャー接続を検証する必要があります。
- Fetcher:タスク キーワードに基づいて、Twitter ストリーミング API からツイートを取得する必要があります。フェッチャーごとに 1 つのタスクのみ。手動で登録する必要はありません。それを実行して、受け取ったタスクを実行するだけです。
- DB:ツイートの JSON を定期的に保存する必要があります。多くのフェッチャーがあるため、ボトルネックを回避するために何かが必要です。
そうは言っても、私が探しているのは、これを実装する方法についての良い考えです。現在、検証プロセスに SSLSockets を使用しています。この後、ソケットを閉じ、RMI を使用してフェッチャーを公開し、サーバー (コントローラー) にレジストリを保存します。それは機能しています...多かれ少なかれ...しかし、このようにするのが良い考えかどうかはわかりません。
分散コンピューティング プラットフォームを実装する方法について何か考えはありますか? 何を使えばいいですか？
ありがとうございました。