問題タブ [facebook-scribe]

次のようにスクライブを使用します。

• Web サーバー(SA) --->ローカル スクライブ サーバー(SB)

  • Web サーバー (SA) とローカル スクライブ サーバー (SB) を 1 台のマシンに。
  • Web サーバーはすべてのログをスクライブに最大 3 回送信するだけで、2 回再試行した後、それらを破棄します。
  • Local Scribe Server はバッファ ストアを使用し、プライマリはネットワーク ストアを使用してログを次の Collector Scribe BJ に送信し、セカンダリはログをローカル ディスクに書き込みます。

• ---->Collector Scribe BJ(SC)----ssh トンネル(gzip 圧縮)---vpn--->Collector Scribe SH(SD)

  • コレクター スクライブ BJ (SC) とローカル スクライブ サーバー (SB) を 1 つの LAN 上に配置。
  • Collector Scribe BJ(SC) はマルチ ストアを使用し、store0 はバッファ ストアを使用し、store0 プライマリはネットワーク ストアを使用して次の Collector Scribe SH にログを送信し、store0 セカンダリはローカル ディスクにログを書き込み、max_queue_size を設定します。 =10000000 および max_queue_length=2000000。
  • Collector Scribe BJ(SC) は store0 -- buffer store -- primary store ネットワークを使用してローカル ポートにログを送信し、ssh トンネルを介して IDC BJ から IDC SH にメッセージを送信します。
  • 最後に、コレクタ スクライブ SH(SD) は std ファイル ストアを使用してログをディスクに書き込みます。

これが私の質問です。

• 質問 1: スクライブ ソース コードで max_queue_length オプションの使用法が見つかりません。また、max_queue_length が非推奨であるという googlegroup で言及されているいくつかの情報も見つけました。ここで「max_queue_length=20000000」を使用しても効果がないのでしょうか。

• 質問 2: オプション max_queue_length 「キュー内のメッセージ数がこの値を超えた場合、バッファ ストアはセカンダリ ストアへの書き込みに切り替わります (githup wiki で説明されています)」だけで、バッファ ストアのスクライブがプライマリをいつ切り替えることができるかを制御できます。セカンダリ ストアに格納します。max_queue_length が役に立たない場合、プライマリ ストアからセカンダリ ストアへのバッファ ストアの切り替えを制御するにはどうすればよいですか?

• 質問 3: ローカル スクライブ サーバー (SB) のセカンダリ ストアの書き込み速度が Web サーバー (SA) の入力速度よりも速い場合、ローカル スクライブ サーバー (SB) はデータを失うことはありませんか?

• 質問 4: inder.pall が言及した googlegroup にもグラフがあります。Here is the link: http://scribe-server.googlegroups.com/attach/979f9ffbe00f5eb3/Screen+Shot+2011-11-22+at+9.12.32+AM.png?gda=FIJ3I0cAAACFwDSo_bUG96Wo0CVG6AlpKMzYsToU_WRZEGbv_RKdbkT0wWvVm1xmkWqWMWNxOm4bQwFxJw55cVwemAxM-EWmeV4duv6pDMGhhhZdjQlNAw&view=1&part=4 スクライブが利用できない (not alive&timeout) か、そのキュー サイズが max_queue_size より大きい場合、上流のスクライブに TRY_LATER が返されると思います。この時点で、上流のスクライブはメッセージをセカンダリにバックアップしますか?

• 質問 5: 質問 4 で述べたように、vpn(BJ--SH) が非常にビジーで遅延が非常に大きい場合、トンネルが使用可能でコレクタ スクライブ SH(SD) が TRY_LATER を返さず、明らかにコレクタ スクライブ BJ( SC) の入力速度はトンネルへの出力速度よりも大きいため、Collector Scribe BJ(SC) のメモリは継続的に増加し、セカンダリ ストアは使用されませんか?

Facebook Scribe サーバー (https://github.com/facebook/scribe) をインストールしてセットアップしました。次に、ログに記録されたデータを収集して処理し、ストレージに保存します。Scribe はデータをファイルに記録し、ローテーションします。

ここでの質問は、スクライブ ファイルからデータを読み取ってデータベースにダンプするにはどうすればよいかということです。いくつかの可能なアプローチを考えることができます: 1. category_current を除く category_* ファイルを別のフォルダーにコピーします。

次に、すべてのファイルを1行ずつ読み取り、データベースに挿入します新しいファイル。tail -f それでも新しい行を取得できますか?

基本的に、データを収集し、スクライブ ログ ファイルから最後に収集したデータを記憶するための最良の方法が何であるかはわかりません。

ノード アプリケーションのログ記録に winston を使用しています。アプリケーション ログを集計するためのスクライブをセットアップする必要があります。 winston からのロギングを変更せずにスクライブ クライアントと対話する。

前もって感謝します

最初にconfigureコマンドを実行しました。

私はこれを得た：

makeコマンドを実行すると、出力には次のように表示されます。

libevent-dev、boostのようにすべての依存パッケージがインストールされており、それらはデフォルトのパスにあります。個々のパスを明示的に指定した後でも、機能しません。これは古いバージョンのthriftで発生する可能性があることをどこかで読みましたが、最新の安定バージョンを使用しています。

誰か助けてもらえますか？

Scribeを使い始めて、マニュアルユーザーを読んでいましたが、ターゲット側のLink列にScribeが使用している記号については何も見つかりません。

たとえば、チェックと「X」の意味はわかっていますが、ひし形やその他の理解できない記号もあります。

私がこれらすべてを読むことができるどんなマニュアルまたはページも非常に役に立ちます。

ありがとう。