2

Ubuntu 11.04 と Java 6 Sun で Hadoop インストールをセットアップしようとしています。Hadoop 0.20.203 rc1 ビルドで作業していました。java-6-sun を使用した Ubuntu 11.04 で繰り返し問題が発生しています。Hadoop を起動しようとすると、「ストレージにアクセスできません」という理由でデータノードが起動しません。

2011-12-22 22:09:20,874 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
2011-12-22 22:09:20,896 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:455)
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:111)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:354)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:268)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1480)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1419)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1437)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1563)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1573)

Apache から 0.20 ブランチのいくつかのバージョンへのアップグレードとダウングレードを試みました。cloudera も含め、hadoop を削除して再度インストールしました。しかし、それでも私はこの問題に直面しています。/tmp ディレクトリの *.pid ファイルを削除するなどの一般的な回避策も機能しません。誰かが私にこれの解決策を教えてもらえますか?

4

1 に答える 1

4

はい、 namenode をフォーマットしました。問題は、hdfs-site.xmlコピーして貼り付けた不正なテンプレートにあり、同じディレクトリの場所dfs.data.dirをdfs.name.dir指していたため、Locked storage エラーが発生しました。それらは異なるディレクトリである必要があります。残念ながら、Hadoop のドキュメントは、この微妙な詳細について十分に明確ではありません。

于 2011-12-26T01:13:01.083 に答える