問題タブ [fluentd]

私たちのチームは現在、監視とアラートにzabbixを使用しています。さらに、流暢を使用して中央の mongoDB にログを収集し、1 週間動作させます。最近、別のソリューション、Logstash について話し合っていました。それらの違いは何ですか？私の意見では、zabbix をデータ収集およびアラート送信プラットフォームとして使用し、流暢にインフラストラクチャ全体で「データ収集」の役割を果たしたいと考えています。Logstash の Web サイトを調べたところ、Logstash はログ収集システムであるだけでなく、収集、プレゼンテーション、および検索のための完全なソリューションでもあることがわかりました。

誰かがアドバイスをしたり、経験を共有したりできますか?

tail と fluent-plugin-mongoを使用して Apache Combined Log Format を mongoDB に書き込みますが、次のような属性形式をカスタマイズして mongoDB に書き込みたいと考えています。

• から新しい属性へのパスを分割

{

}

に

{

}

• 日時形式を ISODate("2011-11-27T07:56:34Z" から "2011-11-27 07:56:34" に変更します

• 最も近い 5 分までの上限タイムスタンプ。12:33:22 => 12:35:00

• from などの関数を追加する

{

}

に

{

}

それは可能ですか？どのプラグインを使用すればよいかわかりません。すでにドキュメントを読んだことがありますが、例があまりないためわかりませんでした。

私はRubyに非常に慣れていないので、私の質問がばかげているように聞こえたらすみません...

Fluentd という Ruby ベースのロギング フレームワークを使用したいと考えています。Ruby Gem としてインストールできます。

Cloud PaaS 経由でデプロイできるように、これを通常の Ruby アプリに変換するにはどうすればよいですか? また、このアプリの機能の Web サービス エンドポイントを作成する最も簡単/迅速な方法は何ですか? 基本的に、これを Java アプリから消費したいと考えています。

コマンド「geminstallfluent-plugin-kafka」により、fluentd用のoutput_kafkaプラグインをインストールしました。

しかし、fluentdサービスを開始すると、ログファイルに次のエラーメッセージが表示されます。

2012-11-09 18:18:39 +0800：一時的にバッファのフラッシュに失敗しました。次の再試行は、2012-11-0918:52:46+0800になります。error="初期化されていない定数Kafka::Message " instance = 69952455476860

output_kafka.rbがモジュールKafkaまたはクラスMessageを見つけられないようですが、どうすれば修正できますか？

コードのロガーを使用して、Django プロジェクトから Fluentd ログ ハンドラーを設定しようとしています。

handler.FluentHandlerパッケージから来て、ローカルでfluent-logger実行しています。fluent

流暢な.conf:

これを django 以外の python プロジェクトから実行すると正常に動作しますが、django から呼び出すと何もしません。

問題は、現在インストールされているロガーとそのハンドラーを確認して、この状況をデバッグできる方法はありますか?

[編集]

次のようなdjango設定から行うと：

それは機能します。ただし、コードからこれを実行できるようにしたいと考えています。これは、foo.bar.baz多くの値を取ることができ、まったく同じことを行う 20 個のロガーとハンドラーでこのファイルを汚染したくないためです。

loggingおそらく本当の問題は、Django がセットアップを実行した後にコードからロガーを追加できないのはなぜですか?

FLUENTDgemのインストールで問題が発生しています。
問題：：

質問:: Fluentdのインストールを続行できるように、このcool.io依存関係の問題を並べ替える方法は？

関連リンク:: https ://rubygems.org/gems/fluentd

Fluentd に出会いました。生データをデータベースに直接保存するのは簡単なのに、なぜそのようなことを使用するのでしょうか? ここでのテクノロジーの使用を誤解している可能性があります。フィードバックをお寄せいただければ幸いです。

生データをキャプチャして独自のデータストアに保存するのは簡単なのに、なぜ別のレイヤーを通過したいと思うのでしょうか?

このシナリオを考えてみましょう。ページビューを保存したい。生データは RDBMS に保存され、フォーマットされたデータは Mongodb に保存されます。これは現在のセットアップの簡単な説明です。

ユーザーが私のサイトにアクセスしたとき。私のアプリケーション (Rails) は、国に一致するように IP を解決します。IP が解決されたら、生データを RDBMS に保存します。すべての生データを 1 時間ごとに Mongo ドキュメントに処理するワーカー/cron を実行しています。なぜ流暢が必要なのですか？この場合、ロギング フレームワークを使用する利点は何ですか?

fluentd の使用を検討しているプロジェクトに取り組んでいます。おそらくin_tailを使用して、nginxアクセスログをリアルタイムで解析する必要があります。しかし、ログのローテーションが発生すると問題が発生します。

このシナリオでは、fluentd は DAY1 23:59:00 までテールアップを完了します。次に予定されている実行は 2 分後です。したがって、DAY2 01:01:00 に再び実行されます。一方、nginx アクセス ログはローテーションされました (ファイルが切り捨てられた可能性が最も高い)。1 分あたり 1000 のログ エントリがあるとします。fluentd がローテーション後に DAY1 の最後の分を取得するにはどうすればよいでしょうか。誰かが私にいくつかの指針を与えることができますか?

たとえば、fluentdプロジェクトを考えてみましょう: https://github.com/fluent/fluentd/blob/master/bin/fluentd

を実行した後、フォルダーgit clone内でサーバーを実行できます。bin

libそして、このファイルでは、ルートフォルダーにフォルダーがロードされることがわかります

cool.ioこのプロジェクトを正常に実行する前にインストールする必要があるなどの依存関係があるため、必要なすべての依存関係をlibフォルダーにダウンロードしてインストールする方法を教えてください。

非常に素朴に聞こえる場合は、事前に申し訳ありません。私は Elastic Search を使い始めました。Elastic Search に毎日保存したい約 10GB のデータが入ってきます。Elastic Search は元のデータの 5% に圧縮することを読みました。Elastic Search からのデータに基づいて実行されるダッシュボードをセットアップしましたが、圧縮率が高すぎると検索のパフォーマンスに影響するかどうかわからないため、ダッシュボードに時間ベースの比較が効果的に表示されません。

私の質問が明確でない場合は、お気軽にお尋ねください。例を見たいのと同じように、通常 ES 圧縮がどのくらいかを知りたいのですが、Elastic Search インスタンスがある場合、それを保存するために理想的に使用する最大スペースはどれくらいですか?

前もって感謝します...