shell - ログから一意の URL を並べ替える

Question

Web ログから一意の URL を取得し、並べ替える必要があります。grep、uniq、sortコマンドを使用して、これを別のファイルに出力することを考えていました

このコマンドを実行しました：

cat access.log | awk '{print $7}' > url.txt

次に、一意のもののみを取得して並べ替えます。

cat url.txt | uniq | sort > urls.txt

問題は、ファイルがソートされているにもかかわらず、重複が表示されることです。これは、コマンドが機能したことを意味します。なんで？

Answer 1

uniq | sort機能しません:uniq連続した重複を削除します。

正しい方法はsort | uniq以上ですsort -u。生成されるプロセスは 1 つだけだからです。

Answer 2

uniq は入力をソートする必要がありますが、uniq の後にソートしました。試す：

$ sort -u < url.txt > urls.txt

Answer 3

次のようなことを試してください：

cat url.txt | sort | uniq