一連の行を含むファイルがあり、一部が繰り返されているとします。
line1
line1
line1
line2
line3
line3
line3
一意の行のリストを生成するために使用する Linux コマンドは次のとおりです。
line1
line2
line3
ファイルがソートされていない場合、つまり繰り返し行がブロックになっていない場合、これは変わりますか?
出力がソートされても構わない場合は、
sort -u
これにより、重複がソートされて削除されます
cat
コンテンツを出力し、パイプしsort
てソートし、パイプしuniq
て一意の値を出力します。
cat test1.txt | sort | uniq
sort
ファイルの内容が既にソートされている場合は、その部分を実行する必要はありません。
一意の行を含む新しいソート ファイルを作成します。
sort -u file >> unique_file
一意の行 (ソートされていない) を含む新しいファイルを作成します。
cat file | uniq >> unique_file