問題タブ [twitter-util]

MySQL データベースにいくつかのフィルタリング基準に従って、リアルタイムのツイートを保存したいと考えています。16 CPU マシンを使用しているという事実を考慮して、どちらのアプローチが優れているかを理解したいと思います。私の場合はストリーミング API を使用する方がよいため、tweet4j ライブラリを使用して Java アプリケーションを簡単に構築できます。この場合、フィルタリングと保存は、マルチスレッド プログラミングを使用して行うことができます。一方、Spark を発見したところ、数行で同じことを実行できますが、メモリが 1 つしかないというボトルネックのままです。

Twitter のレート制限に到達するのが非常に難しく、分散クラスターを利用できないことを考えると、spark が実際の改善になるかどうかを理解したいと思います。

助けてくれてありがとう。

node.js のバックグラウンドを持つ私は Scala を初めて使用し、Twitter の Future.collect を使用していくつかの単純な同時操作を実行しようとしました。しかし、私のコードは、同時動作ではなく順次動作を示しています。私は何を間違っていますか？

ここに私のコードがあります、

これは私が得る出力です、

私が期待する出力は、

Twitter util-eval ライブラリを使用して「hello world」プログラムをコンパイルして実行しようとしています。しかし、結果を印刷することはできません。

私の意図は、hello world の例をコンパイルして実行することだけではありません。依存関係のある大きな scala ファイルをコンパイルして実行する必要があります。

コードを実行して結果を確認するにはどうすればよいですか? util-eval の適切な API ドキュメントを取得できません。Mavenから取得した util-eval_2.11-6.43.0.jar の使用

サービスには、 a を開始し、 (エラーがない限り)決して完了しないcom.twitter.finagle.ListeningServera を返すカスタム「チャネル」も作成するmain メソッドがあります。com.twitter.util.Futureどちらも実際にはcom.twitter.util.Awaitableインスタンスであり、どちらかが完了したらサービスをシャットダウンしたいと考えています。

両方がcom.twitter.util.Futuresだった場合Future.select、完了した最初の future を選択するために使用できたので、現在、 を using に変換しcom.twitter.finagle.ListeningServerていcom.twitter.util.Futureますpool { Await.result(listeningServer) }。

私の問題を解決するためのより良い方法はありますか?

これは本当にばかげた質問かもしれませんが、Finatra の HttpClient定義のこのメソッド定義で#mapだけでなく、# flatMap を使用する背後にあるロジックを理解しようとしています。

#mapを使用して代わりに次のようなものを使用できるのに、なぜ新しい Future を作成するのですか?

これは純粋にスタイルの違いであり、この場合は Future.exception を使用する方がより良いスタイルですが、スローはほとんど副作用のように見えます (実際には、Future のコンテキストを終了しないため、そうではありません)。実行順序など、その背後にある何か？

Tl;dr: Future 内でスローすることと Future.exception を返すことの違いは何ですか?