bash - UNIX bashでテキストファイルの重複行を削除する方法は?

Question

複数行の file.txt しかありません。ファイルをソートせずに重複行を削除したいと思います。unix bash で使用できるコマンドは何ですか?

file.txtのサンプル

orangejuice;orange;juice_apple
pineapplejuice;pineapple;juice_pineapple
orangejuice;orange;juice_apple

出力のサンプル:

orangejuice;orange;juice_apple
pineapplejuice;pineapple;juice_pineapple

Answer 1

を使用した片道awk：

awk '!a[$0]++' file.txt

Answer 2

これには Perl を使用できます。

perl -ne 'print unless $seen{$_}++' file.txt

この-nスイッチにより、Perl はファイルを 1 行ずつ処理します。各行 ( $_) は "seen" という名前のハッシュにキーとして格納されますが++、値が返された後に発生するため、最初に一致したときに行が出力されます。