Eclipse を使用して単一ノード クラスターを使用して Hadoop を構成しました。そして、解析するテキストファイルがたくさんあります。Eclipse は HDFS へのファイルの直接アップロードを提供しますが、正確にこのファイルが私のドライブに保存されている場所を見つけることができません。
私が探しているのは、HDFS が構成されている場所です。テキストファイルをそのフォルダーに直接貼り付けることができるようにします。
質問する
507 次
1 に答える
2
これはdfs.datanode.data.dirプロパティで設定され、デフォルトはfile://${hadoop.tmp.dir}/dfs/data(詳細はこちらを参照)。
ただし、HDFS はファイルを自動検出しないため、そこにファイルを配置することはできません。ファイル HDFS の挿入には、namenode でのメタデータ操作も含まれます。ファイルをコピーするのと同じくらい簡単ではありません。ファイルはブロックに分割する必要があり、名前ノードで適切なメタデータ データ構造を更新する必要があります。HDFS にファイルをアップロードするために Eclipse が提供するインターフェースを引き続き使用するか、コマンドラインで ( を使用してhdfs dfs -put) アップロードすることができます。
于 2013-10-08T15:23:27.997 に答える