問題タブ [fluent-bit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
docker - docker で fluentbit を構成する
docker-compose
fluent-bit を利用するようにファイルを構成しようとしています。私のdocker-compose
ファイルには、fluentbit の次の構成があります。
これを使用して実行するdocker-compose up
と、すべて正常に見えます。テストするには、次のことを行います。
docker run --network=monitor --log-driver=fluentd --log-opt fluentd-address=192.168.XX.XX:24224 -t ubuntu echo "test logging"
テストは成功しましたが、コンテナーの fluentd-address を検索する必要がありました。ファイルでは、docker-compose
そのようにアドレスを入力することはできません。
ファイル内docker compose
に別のサービスを追加します。
ここでは、fluentbit サービスの名前を として使用しますhostname
。しかし、これはうまくいきません。
サービスでログを fluentbit にプッシュする方法を知っている人はいますか?
fluent_bit.conf
ファイル
elasticsearch - Fluentbit によって kubernetes の Elasticsearch に収集された Serilog ログが Json で正しく解析されない
Kubernetes (Minikube) で EFK スタックを使用する。Serilog を使用して asp.net コア アプリを作成し、Json としてコンソールに書き込みます。ログはElasticsearchに送信されますが、解析されていない文字列が「ログ」フィールドに到着します。これが問題です。
これはコンソール出力です:
これは Serilog 構成の一部である Program.cs です (ExceptionAsObjectJsonFormatter は ElasticsearchJsonFormatter から継承されます)。
これらの nuget pkg を使用します。
- Serilog.AspNetCore
- Serilog.Exceptions
- Serilog.Formatting.Elasticsearch
- Serilog.Settings.Configuration
- Serilog.Sinks.Console
これは fluent-bit の configmap です。
しかし、変更を加えてhttps://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/elasticsearch/fluent-bit-configmap.yamlも試しました。
Helm を使用して fluentbit をインストールしましたhelm install stable/fluent-bit --name=fluent-bit --namespace=logging --set backend.type=es --set backend.es.host=elasticsearch --set on_minikube=true
次のエラーもたくさん発生します。
と
Kibanaでわかるように。
fluent - fluent-bit の Java ant ログ用のパーサーはありますか
ご存知のように、docker、k8s などにパーサーが組み込まれています。
fluent-bit で Java ant 用のパーサーが存在するかどうか疑問に思っていました。
elasticsearch - Fluent-bit - Splitting json log into structured fields in Elasticsearch
I am trying to find a way in Fluent-bit config to tell/enforce ES to store plain json formatted logs (the log bit below that comes from docker stdout/stderror) in structured way - please see image at the bottom for better explanation. For example, apart from (or along with) storing the log as a plain json entry under log
field, I would like to store each property individually as shown in red.
The documentation for Filters and Parsers are really poor and not clear. On top of that the forward
input doesn't have a "parser" option. I tried json/docker/regex
parsers but no luck. My regex is here if I have to use regex. Currently using ES (7.1), Fluent-bit (1.1.3) and Kibana (7.1) - not Kubernetes.
If anyone can direct me to an example or give one I would be much appreciated.
Thanks
Thanks
conf