問題タブ [uniq]

12列のtxtファイルがあります。一部の行は重複しており、一部は重複していません。例として、データの最初の 4 列にコピーしました。

最初の列に基づいて、エントリ '3' を除いて重複があることがわかります。この場合は「3」という単一のエントリのみを印刷したいと思います。

出力は次のようになります。

awkまたはperlでこれを行う簡単な方法はありますか? perl で for ループを使用することしか考えられませんが、約 150 万のエントリがあるという事実を考えると、おそらく時間がかかります。

正確なバージョンの apache を grep -R しようとしています。
変更する必要がないため、インクルードとマニュアルを残します。
これは私が使用しているコマンドです：

grep -R 2.2.24 * | grep -v manual | grep -v include | cut -d':' -f 1

ファイルごとに 1 つの結果を見つける方法を知りたいですか?
ありがとう

sortandを使用して重複行を削除する方法は知っていますuniqが、2 番目ではなく重複している最初の行を削除する方法はありますか?

たとえば、次の行を含むファイルがあるとします。

出力は次のようにする必要があります。

ある種のループを実行する必要がありますか、それとも簡単に実行できuniqますか? そして、はい、逆方向にソートすると出力が得られることはわかっていますが、それは私が望んでいることではありません。

ありがとう。

私はこのようなフラットファイルを持っています

データ サンプルからわかるように、ID ごとに、その ID にはいくつかの値があり、それらは同じかどうかに関係なく、どのような値でもかまいません。私にとって、それがどの値を拾っているのかは気にしません。どんな値でも機能します。

したがって、各 ID から 1 つの値のみが必要です。どちらでもかまいませんが、どちらかを選ばなければならない場合は、最も長い行を選択します。

それはPythonで行われるかもしれませんが、シェル自体でそれを行う簡単な方法はありますか?私はsedまたはawkを使用できますが、awkコードの段落全体を書かないでください..

次のようになります。

どうもありがとう ！！

ファイルの連続していない行をフィルタリングするには、以下のワンライナーが正常に機能します。

ただし、エイリアスとして作成しようとすると、期待どおりに機能しません

以下のようにエラーになる

SunOS オペレーティング システム用の tcsh シェルの使用

一度だけ表示される特定の列の値に基づいて行を印刷したい。以下の例では、val2 と val3 は 1 回だけ表示されます。

入力

出力

uniq -u列を指定するオプションがないようです。私も試しsort -t, -k1,1 -uましたが、それはすべての行を1回印刷します。

IP アドレスとペアになったデータを含むリストがあり、IP アドレスを一度だけ表示したいので、順序を変更したくありません。

私がやりたいことは、重複する IP アドレスを削除するだけで、すべてをまったく同じままにすることです。

こんな感じにしたい

重複する単語には触れたくないし、順序を変更することもできません

助けていただければありがたいです

MacOS bash シェルで大きなファイルから英語以外の文字を抽出しようとすると、「不正なバイト シーケンス」エラーが発生します。これは私が使用しようとしているスクリプトです:

ここに私が得ているエラーがあります:

+?

通常のファイル名は次のようになります

上記のコマンドは、Zoe のようなファイル名の重複しない結果を 1 回だけ与えるはずですが、そうではないことがわかりました。

なんで？また、目的の結果を得るにはどのように記述すればよいですか?