Hadoop-RDMA を 8 ノード IB (OFED-1.5.3-4.0.42) クラスターにデプロイしようとしていますが、次の問題が発生しました (別名ファイル ... は 1 ではなく 0 ノードにしか複製できませんでした):
frolo@A11:~/hadoop-rdma-0.9.8> ./bin/hadoop dfs -copyFromLocal ../pg132.txt /user/frolo/input/pg132.txt
警告: $HADOOP_HOME は非推奨です。
14/02/05 19:06:30 警告 hdfs.DFSClient: DataStreamer 例外: java.lang.reflect.UndeclaredThrowableException
com.sun.proxy.$Proxy1.addBlock で (不明なソース)
sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブメソッド)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で
java.lang.reflect.Method.invoke(Method.java:606) で
org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod (不明なソース) で
org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (不明なソース) で
com.sun.proxy.$Proxy1.addBlock で (不明なソース)
org.apache.hadoop.hdfs.From.Code (不明なソース) で
org.apache.hadoop.hdfs.From.F (不明なソース) で
org.apache.hadoop.hdfs.From.F (不明なソース) で
org.apache.hadoop.hdfs.The.run (不明なソース) で
原因: org.apache.hadoop.ipc.RemoteException: java.io.IOException: ファイル /user/frolo/input/pg132.txt は 1 ではなく 0 ノードにしか複製できませんでした
org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock で (不明なソース)
org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock (不明なソース) で
sun.reflect.GeneratedMethodAccessor6.invoke (不明なソース) で
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で
java.lang.reflect.Method.invoke(Method.java:606) で
org.apache.hadoop.ipc.RPC$Server.call (不明なソース) で
org.apache.hadoop.ipc.rdma.madness.Code (不明なソース) で
org.apache.hadoop.ipc.rdma.madness.run (不明なソース) で
java.security.AccessController.doPrivileged(ネイティブメソッド)で
javax.security.auth.Subject.doAs (Subject.java:415) で
org.apache.hadoop.security.UserGroupInformation.doAs (不明なソース) で
org.apache.hadoop.ipc.rdma.be.run (不明なソース) で
org.apache.hadoop.ipc.rdma.RDMAClient.Code (不明なソース) で
org.apache.hadoop.ipc.rdma.RDMAClient.call (不明なソース) で
org.apache.hadoop.ipc.Tempest.invoke (不明なソース) で
... 12以上`
14/02/05 19:06:30 警告 hdfs.DFSClient: null のエラー回復 不良 datanode[0] ノード == null
14/02/05 19:06:30 警告 hdfs.DFSClient: ブロックの場所を取得できませんでした。ソースファイル "/user/frolo/input/pg132.txt" - 中止しています...
14/02/05 19:06:30 情報 hdfs.DFSClient: isClosed の例外
ローカル ファイル システムから HDFS へのコピーを開始すると、データが DataNodes に転送されないようです。DataNode の可用性をテストしました。
frolo@A11:~/hadoop-rdma-0.9.8> ./bin/hadoop dfsadmin -レポート 警告: $HADOOP_HOME は非推奨です。 構成済み容量: 0 (0 KB) 現在の容量: 0 (0 KB) DFS 残り: 0 (0 KB) DFS 使用: 0 (0 KB) DFS 使用 %: �% レプリケートされたブロックの下: 0 レプリカが破損しているブロック: 0 不足しているブロック: 0` -------------------------------------------------- 利用可能なデータノード: 0 (合計 4、デッド 4)` `名前: 10.10.1.13:50010 廃止措置の状態 : 通常 構成済み容量: 0 (0 KB) DFS 使用: 0 (0 KB) 非 DFS 使用: 0 (0 KB) DFS 残り: 0 (0 KB) DFS 使用率 %: 100% DFS 残り %: 0% 最後の連絡先: 水曜日 2 月 5 日 19:02:54 MSK 2014 名前: 10.10.1.14:50010 廃止措置の状態 : 通常 構成済み容量: 0 (0 KB) DFS 使用: 0 (0 KB) 非 DFS 使用: 0 (0 KB) DFS 残り: 0 (0 KB) DFS 使用率 %: 100% DFS 残り %: 0% 最後の連絡先: 水曜日 2 月 5 日 19:02:54 MSK 2014 名前: 10.10.1.16:50010 廃止措置の状態 : 通常 構成済み容量: 0 (0 KB) DFS 使用: 0 (0 KB) 非 DFS 使用: 0 (0 KB) DFS 残り: 0 (0 KB) DFS 使用率 %: 100% DFS 残り %: 0% 最後の連絡先: 水曜日 2 月 5 日 19:02:54 MSK 2014 名前: 10.10.1.11:50010 廃止措置の状態 : 通常 構成済み容量: 0 (0 KB) DFS 使用: 0 (0 KB) 非 DFS 使用: 0 (0 KB) DFS 残り: 0 (0 KB) DFS 使用率 %: 100% DFS 残り %: 0% 最後の連絡先: 水曜日 2 月 5 日 19:02:55 MSK 2014
成功したHDFSファイルシステムでmkdirを試みました。Hadoop デーモンを再起動しても、プラスの効果はありませんでした。
この問題について教えてください。ありがとうございました。
ベスト、アレックス