問題タブ [fluentd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
logging - Fluentd は毎正時にバッファー ファイルを s3 にアップロードできません。
みなさん、こんにちは: 私は fluentd を使用してログを収集します。これらのログは Python プログラムによって生成されるため、ソース パラメーターとして forward を使用します。しかし、毎正時に生成されるファイルは、fluentd が実行されているマシンに残され、s3 をアップロードできないファイルが蓄積されることがあります。fluentd を再起動すると、毎正時に生成されたこれらのファイルは s3 にアップロードされ続けます。Google で検索しましたが、良い方法が見つかりません。
================= 更新 できればファイルの蓄積の問題に対処したいのですが、なぜs3にアップロードされないのか、AWSのEC2とS3を同じように使用していますリージョンと同じ VPC。
environment-variables - fluentd の設定ファイルで環境変数を使用できますか
Fluentd 構成で環境変数を使用する方法を考えていたので、試してみました。
しかし、うまくいきません。
log4j - 複数行の Fluentd read jetty ログ
桟橋ログの複数行を読み込もうとしています。
これで、すべての行でメッセージを表示することができなくなりました。
timezone - Fluentd のタイムゾーンを設定するにはどうすればよいですか?
私のシステム時間は :Tue Jan 6 09:44:49 CST 2015
td-agent.conf :
dirの時間は正しいです！
しかし、ログの時間が間違っています。理由がわかりません。
apache-kafka - 複数の Windows サーバーから中央サーバーにログ ファイルを転送する方法
ログを継続的に生成する Tableau サーバー (Windows プラットフォーム) があります。リアルタイム分析のためにApache Sparkにストリーミングしたいと思います。次の解決策を見ましたが、要件を満たすものはないようです。
1) nxlog エージェントを使用します。将来、複数のタブロー サーバーからログが取得される可能性があるため、これはスケーラブルではありません。
2) 流暢、flume は Windows と互換性がありません。
3) Kafka は、ログ ファイルを追跡しないため、論外です。
そのような問題に対するスケーラブルな解決策は何ですか? 主な制限は、Tableau Server が Windows で実行されていることです。
elasticsearch - fluentd が数ミリ秒を失い、ログ メッセージが Elasticsearch に順不同で保存されるようになりました
fluentd を使用して、elasticsearch でログ メッセージを一元化し、kibana で表示しています。ログ メッセージを表示すると、同じ秒内に発生したメッセージの順序が正しくなく、@timestamp のミリ秒がすべてゼロです
fluentd にミリ秒を保存させるにはどうすればよいですか?