「hdfs バランサー」を実行すると、ラック トポロジがインストールされ、ノードが過剰に使用されたり、使用率が低下したりして、「クラスターのバランスを取るには 5 TB を移動する必要があります」と「10.150.11.24 から 10 GB バイトを移動することにしました: 50010 から 10.150.11.164:50010"
次に、このエラーが表示されます。
WARN balancer.Balancer: Dispatcher スレッドが org.apache.hadoop.hdfs.server.balancer.Balancer の org.apache.hadoop.hdfs.server.balancer.Balancer.isGoodBlockCandidate(Balancer.java:1233) で java.lang.NullPointerException に失敗しましたorg.apache.hadoop.hdfs.server.balancer.Balancer$Source.isGoodBlockCandidate(Balancer.java:686) の .access$400(Balancer.java:183) org.apache.hadoop.hdfs.server.balancer.Balancer$ のSource.getBlockList(Balancer.java:674) at org.apache.hadoop.hdfs.server.balancer.Balancer$Source.dispatchBlocks(Balancer.java:776) at org.apache.hadoop.hdfs.server.balancer.Balancer$ java.util.concurrent.Executors$RunnableAdapter.call の org.apache.hadoop.hdfs.server.balancer.Balancer$Source$BlockMoveDispatcher.run(Balancer.java:614) の Source.access$1600(Balancer.java:607) (Executors.java:471) Java で。util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) java.lang.Thread.run(Thread.java:744) で
それからこれ、
5 回の反復でブロックは移動されませんでした。終了しています...
警告 hdfs.DFSClient: DataStreamer 例外 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): /system/balancer.id にリースがありません: ファイルが存在しません。ホルダー DFSClient_NONMAPREDUCE_-201468433_1 には開いているファイルがありません。org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:2937) で org.apache.hadoop.hdfs.server.namenode.FSNamesystem.analyzeFileState(FSNamesystem.java:2757) で org.apache .hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2665) org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:569) org.apache.hadoop.hdfs でorg.apache の .protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)。
namenode ログには次のように表示されます。
警. ホルダー DFSClient_NONMAPREDUCE_-201468433_1 には開いているファイルがありません。
INFO org.apache.hadoop.ipc.Server: 8020 で IPC サーバー ハンドラー 118、10.150.11.126:56490 から org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock を呼び出します Call#71 Retry#0: エラー: org.apache .hadoop.hdfs.server.namenode.LeaseExpiredException: /system/balancer.id にリースがありません: ファイルが存在しません。ホルダー DFSClient_NONMAPREDUCE_-201468433_1 には開いているファイルがありません。
バランサープロセスの重複に関する議論を検索して見つけましたが、クラスターでこの問題を見つけることができませんでした。誰か他のアイデアがありますか？私たちはcdh5.0.1を使用しています