次のようなファイルがあるとします。
apple
pear
lemon
lemon
pear
orange
lemon
一意の行のみを保持するようにするにはどうすればよいので、次のようになります。
apple
pear
lemon
orange
元のファイルを変更するか、新しいファイルを作成できます。
元のファイルを一度に 1 行ずつスキャンし、その行が新しいファイルに存在するかどうかを確認し、存在しない場合は追加する方法があると考えています。ここでは、本当に大きなファイルを扱っていません。