1

ページをクロールする Hadoop ジョブを作成しています。私が使用しているライブラリは、クロール中にファイル システムを使用してクロール データを保存します。私が使用しているクローラー ライブラリは java.io を使用していますが、HDFS とのインターフェイスにはまったく異なるクラス セットを使用する必要があるため、HDFS を使用するにはライブラリを変更する必要があると確信していました。

しかし、同僚が hdfs://localhost/path/to/storage を使用すると、ストレージ フォルダーへのパスに対してクローラーが機能し、ファイル システムに書き込むことができました。なぜこれが機能するのかを理解しようとしています.hdfs://プレフィックス付きのパスをHDFS上のパスに解決する原因となるhadoopベースのjvmに違いはありますか?

4

1 に答える 1

3

使用している HDFS インターフェイスの種類がわかりません。Hadoop は、汎用ファイル システム レイヤーを提供します。Hadoop 構成ファイル (HADOOP_HOME/conf/core-site.xml 内、プロパティの名前は「fs.default.name」) で NameNode アドレスを指定しない場合、すべての「hadoop fs ...」コメントはデフォルトでローカル ファイル システムになります。そのため、hadoop の構成がわからない場合は、"hdfs://namenode:port/" をプレフィックスとして含めることをお勧めします。

于 2012-04-05T14:53:29.640 に答える