問題タブ [chukwa]

これはおそらくかなり高度な質問であり、多くの説明が必要ですが、私には多くの説明が必要です。

基本的に、多くのログと追跡を必要とする PHP アプリケーションを開発しています。クリック、インタラクション、パフォーマンスなどを追跡します。太陽の下で何でも。Facebook の Scribe と Yahoo の Chukwa は、どちらもこれをうまく実装しています。私はlog4phpについてほとんど知りません。

私が知りたいのは、この種のロギングがどのように機能するか、具体的には PHP アプリケーションと組み合わせた場合の概要です。ログが処理される時点で停止できます。処理とストレージに Hadoop/Hive を使用したいことは既にわかっています。

また、アプリケーション自体の内部で何が起こっているかについて、かなり低レベルの見方もしたいと思います。たとえば、クリックの動作を取得してロガーに送信するにはどうすればよいでしょうか。また、私が始めるのに役立つ読書をいただければ幸いです。

特に、複数のノード (> 500) からのログからデータを集約するように設計され、メモリ/CPU の使用量が少ないように設計された、これらのプロジェクトの代替案について知りたいです。
私は scribe、flume、chukwa に精通していますが、それらはリソース (JRE、多くのライブラリ) を使いすぎていると思います。

使用率の低い方法で複数のノードからデータを集約することに関するすべてのコメントと推奨事項を歓迎します。