Facebook Scribe サーバー (https://github.com/facebook/scribe) をインストールしてセットアップしました。次に、ログに記録されたデータを収集して処理し、ストレージに保存します。Scribe はデータをファイルに記録し、ローテーションします。
/tmp/scribetest/category/category_0000
/tmp/scribetest/category/category_...
/tmp/scribetest/category/category_current -> /tmp/scribetest/category/category_0000
ここでの質問は、スクライブ ファイルからデータを読み取ってデータベースにダンプするにはどうすればよいかということです。いくつかの可能なアプローチを考えることができます: 1. category_current を除く category_* ファイルを別のフォルダーにコピーします。
/tmp/dump/category/category_0000
/tmp/dump/category/category_...
次に、すべてのファイルを1行ずつ読み取り、データベースに挿入します新しいファイル。tail -f それでも新しい行を取得できますか?
基本的に、データを収集し、スクライブ ログ ファイルから最後に収集したデータを記憶するための最良の方法が何であるかはわかりません。