問題タブ [scribe-server]

それはどのように機能しますか？（サーバー、書き込み、GET、値などの観点から説明してください）。

Win32 アプリで動作しますか?

ここで 2 つの質問があります。

質問1：

-- thrift は内部クラスの機能を提供できますか? (次の例を参照してください)

――できれば、そのような機能を簡単に節約できますか？

スクライブ インターフェース (scribe/if/scribe.thrift) は次のとおりです。しかし、そのメッセージ フィールドは文字列のみであり、柔軟性が十分ではないと思います。

次のことができれば素晴らしいと思います（thrift自体がそのドキュメントに従って内部クラス機能を提供するかどうかさえわかりませんが、プロトコルバッファは間違いなく可能です）。

質問2：

-- スクライブは内部データ表現としてプロトコル バッファを簡単に使用できますか? (あまりコードを変更しないでください)

-- 上記の質問に対する答えが「いいえ」の場合、Google はその sribe 実装をオープンソース化しましたか?

私が見たスクライブの例の中で、実際にログ/ログファイルを取得してスクライブに送信する最良の方法について言及しているものはありません。ローテーションされたファイルをスクライブするために "cats" する postrotate セクションを持つ logrotate スクリプトを構成できます (ただし、せいぜい数分のレイテンシーが発生します)。
もう 1 つのオプションは、「tail -f= | my_scribe_sender」を保持し、プロセスが強制終了されないことを期待することです。ただし、データが欠落/重複していないことを実際に保証することはできません。

これはおそらくかなり高度な質問であり、多くの説明が必要ですが、私には多くの説明が必要です。

基本的に、多くのログと追跡を必要とする PHP アプリケーションを開発しています。クリック、インタラクション、パフォーマンスなどを追跡します。太陽の下で何でも。Facebook の Scribe と Yahoo の Chukwa は、どちらもこれをうまく実装しています。私はlog4phpについてほとんど知りません。

私が知りたいのは、この種のロギングがどのように機能するか、具体的には PHP アプリケーションと組み合わせた場合の概要です。ログが処理される時点で停止できます。処理とストレージに Hadoop/Hive を使用したいことは既にわかっています。

また、アプリケーション自体の内部で何が起こっているかについて、かなり低レベルの見方もしたいと思います。たとえば、クリックの動作を取得してロガーに送信するにはどうすればよいでしょうか。また、私が始めるのに役立つ読書をいただければ幸いです。

Facebookのスクライブのソースコードをダウンロードしました。私はそれを初めて使用し、 readme.build ファイルを読んだので、ビルド方法をほとんど理解できなかったと言えます。誰かが私に段階的な手順を教えてくれますか? ありがとう... ：）

特に、複数のノード (> 500) からのログからデータを集約するように設計され、メモリ/CPU の使用量が少ないように設計された、これらのプロジェクトの代替案について知りたいです。
私は scribe、flume、chukwa に精通していますが、それらはリソース (JRE、多くのライブラリ) を使いすぎていると思います。

使用率の低い方法で複数のノードからデータを集約することに関するすべてのコメントと推奨事項を歓迎します。

Scribeで何をログに記録できるか、またはログ出力がどのように表示されるかを理解するのに問題があります...それはテキスト形式ですか、それともバイナリ形式ですか？ログメッセージの構造は何ですか？時間メッセージタプル？

回答やドキュメントへのリンクをいただければ幸いです:)

EC2 インスタンスに Facebook の Scribe をインストールする詳細な手順を知っている人はいますか?

検索を実行して見つかった手順のほとんどは、少し古くなっています。

AWS EC2 で Facebook Scribe Server を実行して、Heroku がホストする複数の Rails クライアントにログ サービスを提供する予定です。

上記のようなクラウドベースのシナリオで Scribe クライアントを認証するメカニズムはありますか? その場合、SSL を使用して結果の接続を保護できますか?

両方に取り組む機会を得た人はいますか？データを移動するためのフレームワークをセットアップする必要があります。基本的に、クリックストリーム データはテキスト ファイルとして入ってきます。このデータは、アプリ サーバーから HDFS に移動し、アーカイブ後に S3 に移動する必要があります。

Flume と Scribe のどちらを選択するかについてサポートが必要です。管理性、セットアップの点で優れているのはどれで、カスタマイズしやすいのはどれですか?