sed - ファイル内の重複行を削除する方法...ファイルでAWK、SED、UNIQが機能しない

Question

AWKこれを行う方法はたくさんありますが、、、、、どれも私のファイルでは機能しませんSED。UNIQ

重複行を削除したい。これが私のファイルの一部の例です:

KTBX
KFSO
KCLK
KTBX
KFSO
KCLK
PAJZ
PAJZ

注: ファイルからカット アンド ペーストするときに、手動で改行を追加する必要がありました...何らかの理由で、すべての変数を 1 行に配置していました。44,000 行のテキスト ファイルに、実際には "1" 行しかないと思われますか? 重複を削除できるように変更する方法はありますか?

Answer 1

次のコマンドを使用すると、印刷されていない文字をすべて表示できます。

od -c oldfile

すべてのレコードが 1 行にある場合、sed を使用して空白 (スペース、タブ、改行) を改行に置き換えることができます。

sed -e 's/\s\+/\n/g' oldfile > oldfile.1

複数の行がある場合、この awk ワンライナーは次のとおりです。

awk '!x[$0]++' oldfile.1 > newfile

私のアウトファイル：

KTBX
KFSO
KCLK
PAJZ