Ok、
非常に愚かな質問...
hdfsに大きなファイルがあります
/user/input/foo.txt
この場所から最初の 100 行をローカル ファイルシステムにコピーしたい...
また、データは非常に機密性が高いため、実験には少しためらいがあります。
サンプルデータを hdfs からローカル fs にコピーする正しい方法は何ですか?
質問する
3717 次
3 に答える
2
勝利を確実にする簡単な方法は次のとおりです。
hdfs dfs -copyToLocal /user/input/foo.txt /path/to/local/file | head -100
于 2015-10-08T19:36:38.087 に答える
1
プログラムを使用してhead、ファイルの先頭から数行を抽出できます。たとえば、次のようになります。
$ head /user/input/foo.txt -n100
(ここでn、抽出する行数を決定します)、選択したファイルに出力をリダイレクトします。
$ head /user/input/foo.txt -n100 > /path/to/you/output/file
于 2013-08-29T20:41:21.497 に答える