3

最新の Giraph コードと Hadoop 2.5.2 を使用して SimpleShortestPathsComputation の例を実行しようとしています。私のコマンドラインは次のようになります。

hadoop jar /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/prhodes/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/prhodes/giraph_output/shortestpaths -w 4

そして、ジョブは正常に開始されたようです。しかし、その後、これらの種類のメッセージの出力を開始し、ctrl + c を押すまで、これは (一見) 永遠に続きます。

15/03/11 02:54:31 INFO yarn.GiraphYarnClient: Giraph:
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed:
305.43 secs 15/03/11 02:54:31 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers
used: 1 15/03/11 02:54:35 INFO yarn.GiraphYarnClient: Giraph:
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed:
309.44 secs 15/03/11 02:54:35 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers
used: 1 15/03/11 02:54:39 INFO yarn.GiraphYarnClient: Giraph:
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed:
313.45 secs 15/03/11 02:54:39 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers
used: 1 15/03/11 02:54:43 INFO yarn.GiraphYarnClient: Giraph:
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed:
317.45 secs 15/03/11 02:54:43 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers
used: 1 ^C15/03/11 02:54:47 INFO yarn.GiraphYarnClient: Giraph:
org.apache.giraph.examples.SimpleShortestPathsComputation, Elapsed:
321.46 secs 15/03/11 02:54:47 INFO yarn.GiraphYarnClient: appattempt_1426041786848_0002_000001, State: ACCEPTED, Containers
used: 1

ここで何が起こっているのか分かりますか？

4

1 に答える 1

0

これは環境問題であることが判明しました。AWS セキュリティ グループでホワイトリストに登録するポートを厳選しようとしていましたが、YARN がクラスターの内部通信にいくつかのポートを使用していることを見逃していました。リスト全体を並べ替える代わりに、10.0.0.0/24 からの「すべてのトラフィック」を受け入れるセキュリティ グループ ルールを追加しました。それはこの問題を解決しました。

于 2015-03-12T03:39:59.347 に答える