1

ファイルからすべての重複行を削除しようとしており、次のコマンドを使用しています。

sort text.txt | uniq -u > ALL.txt

しかし、このエラーが発生しています:

sort: string comparison failed: Invalid or incomplete multibyte or wide character
sort: Set LC_ALL='C' to work around the problem.
sort: The strings compared were `http://lestarsmagazine.com/2011/10/07/adja-ndoye-ex-mannequin-\253-balla-gaye-adja-diallo-mara-ndiaye-l\222alcool-la-drogue-et-moi-\273/2691278-3806038/ | 0\r' and `http://sopfree.com/slight-conditioning/ | 0\r'.

この問題を回避するには、コマンドを何に変更する必要がありますか?

4

2 に答える 2

3 
LC_ALL='C' sort text.txt | LC_ALL='C' uniq > ALL.txt

編集：「-u」を削除しました。あなたの説明から、あなたはそれを使うべきではないように思えます。man ページを誤解している可能性があります。このオプションは、一意でない行をマージするのではなく、入力からスキップします。

于 2013-06-20T09:41:46.987 に答える