一連の行を含むファイルがあり、一部が繰り返されているとします。
line1
line1
line1
line2
line3
line3
line3
一意の行のリストを生成するために使用する Linux コマンドは次のとおりです。
line1
line2
line3
ファイルがソートされていない場合、つまり繰り返し行がブロックになっていない場合、これは変わりますか?
出力がソートされても構わない場合は、
sort -u
これにより、重複がソートされて削除されます
catコンテンツを出力し、パイプしsortてソートし、パイプしuniqて一意の値を出力します。
cat test1.txt | sort | uniq
sortファイルの内容が既にソートされている場合は、その部分を実行する必要はありません。
一意の行を含む新しいソート ファイルを作成します。
sort -u file >> unique_file
一意の行 (ソートされていない) を含む新しいファイルを作成します。
cat file | uniq >> unique_file