0

Hadoop の起動時に問題が発生しました。

DataBlockScanner は、1 つの CPU を最大 100% 消費します。

マスターログは次のとおりです。

2012-04-02 11:25:49,793 INFO org.apache.hadoop.hdfs.StateChange: BLOCK NameSystem.processReport: 192.168.33.44:50010 から、ブロック: 16148、処理時間: 13 ミリ秒

スレーブログは次のとおりです。

2012-04-02 11:09:34,109 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: blk_-1757906724564777881_10532084 の検証に成功しました

Hadoop fsck をチェックしたところ、エラーや破損ブロックは見つかりませんでした。

CPU 使用率が非常に高いのはなぜですか? ブロック検証を停止するにはどうすればよいですか?

4

2 に答える 2

0

ありがとうございます。うるう秒のため、CPU 使用率が非常に高いと思います。問題は Java にあると思います。Hadoop を開始すると、CPU 使用率が非常に高くなります。

http://en.wikipedia.org/wiki/Leap_second

于 2012-07-04T08:49:57.593 に答える
0

ソースを掘り下げて確認しない限り、これはおそらく起動時のみの問題です。データノードはデータディレクトリ (/ies) をツリーウォークしてすべてのブロックを検出し、それらをネームノードに報告する必要があるためです。ソースがないと、各ブロックのチェックサムが起動時にも検証されるかどうかを確認できません。これが 100% CPU の原因である可能性があります。

于 2012-07-02T11:11:05.297 に答える