bash - 同じファイル内のフィールドを比較する

Question

次のデータを含むファイルがあります

ファイル名: sample.rcv.gz

データ：

title|currentDate|numberOfLines|
a|ID99900|Paul|Lee|
b|ID99900|New York|7890654|
c|ID99900|Driver|1232423|
a|ID99901|Jim|foo|
b|ID99901|California|1265789|
c|ID99901|Officer|3332424|
a|ID99902|Jean|duval|
b|ID99902|California|9865789|
c|ID99902|Officer|5552424|
a|ID99900|Philips|Chand|
b|ID99900|Delhi|6310654|
c|ID99900|Teacher|7653423|

ここで、a、b、c はテーブル名です。

同じテーブルの重複する ID を見つける方法は?

ありがとう

Answer 1

awk -F"|" 'NR!=1{if($1$2 in a)print "Duplicate:",$1,$2;else a[$1$2]}' your_file

以下でテスト:

> cat temp
title|currentDate|numberOfLines|
a|ID99900|Paul|Lee|
b|ID99900|New York|7890654|
c|ID99900|Driver|1232423|
a|ID99901|Jim|foo|
b|ID99901|California|1265789|
c|ID99901|Officer|3332424|
a|ID99902|Jean|duval|
b|ID99902|California|9865789|
c|ID99902|Officer|5552424|
a|ID99900|Philips|Chand|
b|ID99900|Delhi|6310654|
c|ID99900|Teacher|7653423|
> awk -F"|" 'NR!=1{if($1$2 in a)print "Duplicate:",$1,$2;else a[$1$2]}' temp
Duplicate: a ID99900
Duplicate: b ID99900
Duplicate: c ID99900
>