問題文:-
私String Pattern
は周りの特定のものを検索10000 files
し、それを含むファイル内のレコードを見つける必要がありますparticular pattern
。ここでも使えgrep
ますが、時間がかかります。
particular string pattern
以下は、私が後を検索するために使用しているコマンドunzipping
ですdat.gz file
gzcat /data/newfolder/real-time-newdata/*_20120809_0_*.gz | grep 'b295ed051380a47a2f65fb75ff0d7aa7^]3^]-1'
上記を解凍した後、ファイルがいくつあるかを単純に数えるとdat.gz file
gzcat /data/newfolder/real-time-newdata/*_20120809_0_*.gz | wc -l
私は回り10000 files
ます。そして、これらすべてで上記の文字列パターンを検索し、上記10000 files
を含むレコードを見つける必要がありますString Pattern
。上記のコマンドは正常に機能していますが、非常に低速です。
これに対する最善のアプローチは何ですか?一度に取得100 files
して、その中の特定の文字列パターンを検索する必要があり100 files parallelly
ます。
ノート:
私はSunOSを実行しています
bash-3.00$ uname -a
SunOS lvsaishdc3in0001 5.10 Generic_142901-02 i86pc i386 i86pc