linux - ファイル生成中/ユーザーからサーバーへのアップロード中に awk をストリーミング

Question

非常に大きなファイルがユーザーによってアップロードされる redhat サーバーがあります。ファイルが完全にアップロードされたら、スクリプトを実行してデータを解析します。90% awk が含まれる bash スクリプトです。

ダウンロード中にスクリプトを起動する方法はありますか? よりリアルタイムの結果を得るためのストリーミング awk のようなものですか?

ヘルプや提案をお寄せいただきありがとうございます。

score 1 · Accepted Answer

tail -f書き込み中のファイルを読み取るために使用できます。例 (GNU coreutils 8.21):

tail -n +0 -f --pid $SOME_PID $SOME_FILE | $YOUR_SCRIPT

-n +0tailファイルの先頭から出力を開始することを意味します。ファイルが大きくなるにつれて新しいデータを出力するように-f指示します。指定されたプロセスが終了すると終了します。ファイルの更新の監視をいつ停止するかを知る方法は他にありません。tail--pidtailtail

score 0 · Accepted Answer

どのようにダウンロードしますか？wget を使用すると、次のことができます

wget -q -O- http://someurlthatdoesntexist.com | grep 'some word'

そのため、bash スクリプトへのパイプは簡単なはずです。

2 に答える 2