コマンドfs -putを使用して、100GB の巨大なファイルを HDFS にコピーしています。私の HDFS ブロック サイズは 128MB です。ファイルのコピーには時間がかかります。私の質問は、ファイルのコピーが進行中の間、他のユーザーがファイルを見ることができないということです。これは設計によるものですか？別のユーザーがこの部分ファイルにアクセスできるようにして、そのユーザーもコピーの進行状況を監視できるようにするにはどうすればよいでしょうか。
質問する
1126 次
2 に答える
1
サイズはブロックごとに表示されます。したがって、ブロック サイズが 128MB の場合、最初のブロックが完了するとファイル サイズが 128MB と表示され、しばらくするとサイズが 256MB と表示され、ファイル全体がコピーされるまで続きます。そのため、通常の HDFS UI またはコマンド ラインを使用して、hadoop fs -lsブロックごとのコピーの進行状況を監視できます。hadoop fs -catコピー中でもコピー済みの部分を読み込むことができます。
于 2012-12-28T09:02:28.490 に答える
0
によるHadoop - The Definitive Guide
ブロックの価値を超えるデータが書き込まれると、最初のブロックが新しいリーダーに表示されます。これは後続のブロックにも当てはまります。他のリーダーから見えないのは、常に現在書き込まれているブロックです。
于 2013-01-03T15:15:52.280 に答える