shell - grep -f ファイル検索

Question

私は2つのファイルを持っています。最初のファイル ( )file1.txtは約 15,000 行、2 番目のファイル ( file2.txt) は約 180,000 行です。から一致するすべての行を見つけてfile1.txt削除しようとしていますfile2.txt。私が現在試しているのはこれです：

grep -v -f file1.txt file2.txt > out.txt

これは機能しますが、非常に長い時間がかかります。これを高速化する方法を見つけようとしていますが、それを理解するのに苦労しています。誰か提案がありますか？お手伝いありがとうございます

Answer 1

ここでの「一致」の定義が「同一」である場合:

これを試して：

awk 'NR==FNR{a[$0];next;}!($0 in a)' file1 file2 >out.txt