問題タブ [fluentd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
zabbix - Fluentd+Mongo と Logstash の比較
私たちのチームは現在、監視とアラートにzabbixを使用しています。さらに、流暢を使用して中央の mongoDB にログを収集し、1 週間動作させます。最近、別のソリューション、Logstash について話し合っていました。それらの違いは何ですか?私の意見では、zabbix をデータ収集およびアラート送信プラットフォームとして使用し、流暢にインフラストラクチャ全体で「データ収集」の役割を果たしたいと考えています。Logstash の Web サイトを調べたところ、Logstash はログ収集システムであるだけでなく、収集、プレゼンテーション、および検索のための完全なソリューションでもあることがわかりました。
誰かがアドバイスをしたり、経験を共有したりできますか?
apache - fluentd を使用して、Apache 結合ログをカスタム属性で mongoDB に書き込む方法
tail と fluent-plugin-mongoを使用して Apache Combined Log Format を mongoDB に書き込みますが、次のような属性形式をカスタマイズして mongoDB に書き込みたいと考えています。
- から新しい属性へのパスを分割
{
}
に
{
}
日時形式を ISODate("2011-11-27T07:56:34Z" から "2011-11-27 07:56:34" に変更します
最も近い 5 分までの上限タイムスタンプ。12:33:22 => 12:35:00
from などの関数を追加する
{
}
に
{
}
それは可能ですか?どのプラグインを使用すればよいかわかりません。すでにドキュメントを読んだことがありますが、例があまりないためわかりませんでした。
ruby - Ruby gem を変換する方法 -> Ruby アプリ -> そのアプリのさまざまな機能から Web サービスを作成する
私はRubyに非常に慣れていないので、私の質問がばかげているように聞こえたらすみません...
Fluentd という Ruby ベースのロギング フレームワークを使用したいと考えています。Ruby Gem としてインストールできます。
Cloud PaaS 経由でデプロイできるように、これを通常の Ruby アプリに変換するにはどうすればよいですか? また、このアプリの機能の Web サービス エンドポイントを作成する最も簡単/迅速な方法は何ですか? 基本的に、これを Java アプリから消費したいと考えています。
apache-kafka - fluentd output_kafkaプラグインの使用方法は?
コマンド「geminstallfluent-plugin-kafka」により、fluentd用のoutput_kafkaプラグインをインストールしました。
しかし、fluentdサービスを開始すると、ログファイルに次のエラーメッセージが表示されます。
2012-11-09 18:18:39 +0800:一時的にバッファのフラッシュに失敗しました。次の再試行は、2012-11-0918:52:46+0800になります。error="初期化されていない定数Kafka::Message " instance = 69952455476860
output_kafka.rbがモジュールKafkaまたはクラスMessageを見つけられないようですが、どうすれば修正できますか?
python - Python ロギング - 現在インストールされているロガー/ハンドラーの概要
コードのロガーを使用して、Django プロジェクトから Fluentd ログ ハンドラーを設定しようとしています。
handler.FluentHandler
パッケージから来て、ローカルでfluent-logger
実行しています。fluent
流暢な.conf:
これを django 以外の python プロジェクトから実行すると正常に動作しますが、django から呼び出すと何もしません。
問題は、現在インストールされているロガーとそのハンドラーを確認して、この状況をデバッグできる方法はありますか?
[編集]
次のようなdjango設定から行うと:
それは機能します。ただし、コードからこれを実行できるようにしたいと考えています。これは、foo.bar.baz
多くの値を取ることができ、まったく同じことを行う 20 個のロガーとハンドラーでこのファイルを汚染したくないためです。
logging
おそらく本当の問題は、Django がセットアップを実行した後にコードからロガーを追加できないのはなぜですか?
ruby - 問題:Windows7へのFluentdgemのインストール
FLUENTDgemのインストールで問題が発生しています。
問題::
質問:: Fluentdのインストールを続行できるように、このcool.io依存関係の問題を並べ替える方法は?
mongodb - fluentd はこのシナリオにどのように役立ちますか?
Fluentd に出会いました。生データをデータベースに直接保存するのは簡単なのに、なぜそのようなことを使用するのでしょうか? ここでのテクノロジーの使用を誤解している可能性があります。フィードバックをお寄せいただければ幸いです。
生データをキャプチャして独自のデータストアに保存するのは簡単なのに、なぜ別のレイヤーを通過したいと思うのでしょうか?
このシナリオを考えてみましょう。ページビューを保存したい。生データは RDBMS に保存され、フォーマットされたデータは Mongodb に保存されます。これは現在のセットアップの簡単な説明です。
ユーザーが私のサイトにアクセスしたとき。私のアプリケーション (Rails) は、国に一致するように IP を解決します。IP が解決されたら、生データを RDBMS に保存します。すべての生データを 1 時間ごとに Mongo ドキュメントに処理するワーカー/cron を実行しています。なぜ流暢が必要なのですか?この場合、ロギング フレームワークを使用する利点は何ですか?
ruby - fluentd ロギング nginx リアルタイム
fluentd の使用を検討しているプロジェクトに取り組んでいます。おそらくin_tailを使用して、nginxアクセスログをリアルタイムで解析する必要があります。しかし、ログのローテーションが発生すると問題が発生します。
このシナリオでは、fluentd は DAY1 23:59:00 までテールアップを完了します。次に予定されている実行は 2 分後です。したがって、DAY2 01:01:00 に再び実行されます。一方、nginx アクセス ログはローテーションされました (ファイルが切り捨てられた可能性が最も高い)。1 分あたり 1000 のログ エントリがあるとします。fluentd がローテーション後に DAY1 の最後の分を取得するにはどうすればよいでしょうか。誰かが私にいくつかの指針を与えることができますか?
ruby - Ruby gem プロジェクトをローカル開発用にチェックアウトするには?
たとえば、fluentd
プロジェクトを考えてみましょう: https://github.com/fluent/fluentd/blob/master/bin/fluentd
を実行した後、フォルダーgit clone
内でサーバーを実行できます。bin
lib
そして、このファイルでは、ルートフォルダーにフォルダーがロードされることがわかります
cool.io
このプロジェクトを正常に実行する前にインストールする必要があるなどの依存関係があるため、必要なすべての依存関係をlib
フォルダーにダウンロードしてインストールする方法を教えてください。