scala - Apache Spark で人気のある Twitter のタグ

Question

私はApache Sparkが初めてです。https://github.com/prabeesh/SparkTwitterAnalysis/tree/0.2.0の例を実行しようとしましたが、コンソールで次のエラーが表示されます:

 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

を使用してサーバーを起動し、nc -lk 9999sbt/sbt パッケージでコードをコンパイルし、/
を使用してコードを実行しました。sbtsbt 'run spark://localhost:9999 <keys as specifies> hashtag'

このエラーの理由と解決方法

前もって感謝します。

Answer 1

メッセージに記載されているように、ワーカーがクラスターに登録されていないか、タスクを実行するための十分なメモリがありません。ブラウザーからクラスター UI ページに移動し、ワーカー ノードが正しく構成されていることを確認します。ノードが機能している場合は、使用可能なメモリを増やしてみてください。