問題タブ [fluentd]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

1193 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
70 参照

ruby - 正規表現一致グループのルックバック

同じデータを抽出しようとしています (ただし、文字列から異なる「チャンク」で数回抽出します。ユースケースは、Fluentd で Fastly からの Syslog メッセージを解析することです。

私はこのログ行を持っています:

2015-08-27T12:36:58Z cache-foo1234 Name[123456]: 4.151.22.16 "-" "-" POST /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone 304 MISS BC942858-64FA-4101-BAE1-19272490697F iPhone 5S

これまでのところ、この正規表現（Ruby Regex）：

^(?<time>[^ ]*) (?<fastly_server>[^ ]*) (?<log_name>[^ ]*) (?<host>[^ ]*) (?<na>[^ ]*) (?<na2>[^ ]*) (?<http_method>[^ ]*) (?<http_request>[^ ]*) (?<http_status>[^ ]*) (?<cache_status>[^ ]*) (?<uuid>[^ ]*) *(?<device_model>.*)$

そしてこれは私に与えます：

  • time2015-08-27T12:36:58Z
  • fastly_server キャッシュ foo1234
  • log_name 名前[123456]:
  • host 4.151.22.16
  • http_method役職
  • http_request /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone
  • http_status304
  • cache_status お嬢
  • uuid BC942858-64FA-4101-BAE1-19272490697F
  • device_model iPhone 5S

それは完璧ですが、どうすれば元に戻って抽出できますか。61ea23fb-53fb-4364-a892-349fdf5f6dca、および同じ正規表現を持つ同じ文字列からeventの値?device_os_version

0 投票する
1 に答える
1095 参照

ruby - fluent-plugin-elasticsearch: logstash_format true が機能しない

私はこれを実装しようとしています: http://www.tipstuff.org/2014/01/Postfix-log-centralize-and-analysis-in-realtime-with-fluentd-elasticsearch-and-kibana-part-4.html

この構成ですべてが機能しています：

しかし、logstash_format true を追加すると機能しません。Kibana を希望どおりに動作させるには、ES インデックスにタイムスタンプがどうしても必要です。

td-agent init スクリプト (-vv オプション) に詳細ログを追加しようとしましたが、価値のあるものは何も得られません。

これを解決するための入力は高く評価されます。

0 投票する
1 に答える
1820 参照

influxdb - fluentd と influxdb の間でデータが失われる

fluentd と influxdb の間のデータ損失に苦しんでいます。

この構成で fluent-plugin-influxdb プラグインを使用する:

ファイル出力と influxdb のデータを比較すると、次のことがわかります。

ログには 2355 行ありますが、データベースには 582 レコードしかありません。

influxdb と fluentd の両方からデバッグ/トレース ロギングを有効にしましたが、これまでのところログに興味深いものはありません。

何か案は？

0 投票する
1 に答える
462 参照

apache - アプリ サーバーからログを送信するには、Logstash フォワーダー、FLume、または Fluentd のどれを使用しますか?

  1. Logstash フォワーダーは軽量ですが、logstash フォワーダーから logstash まで、ネットワーク上で遅延が発生します。[あるマシンで Logstash フォワーダーを使用し、他のマシンにある Logstash にログを送信している場合]

  2. Flume /Flume-ng : 同じ量のデータに対して CPU 使用率が高い (たとえば、2 MB の場合、20% のようになります)

  3. Fluentd : Java を使用せず、CRuby をベースにしていますが、CPU 使用率もピーク時に 30% です。

私たちのユースケースによれば、ログを転送するだけで実稼働ボックスに大きな負荷を加えたくありません.logstashを使用すると、新しい単一障害点が導入されるため、それらの中から1つを選択するのにかなり混乱しています.

0 投票する
3 に答える
12202 参照

logging - 複数行用の Docker Fluentd ログ記録ドライバー

docker 環境で fluentd を使用して集中ログ システムを作成しようとしています。現在、fluentd docker logging driver を使用して fluentd に docker ログを送信できます。これは、in_tail メソッドを使用して docker ログ ファイルを読み取るよりもはるかにクリーンなソリューションです。ただし、現在、複数行のログの問題に直面しています。

ここに画像の説明を入力

上の図からわかるように、複数行のログは順不同で、ユーザーにとって非常に混乱しています。これを解決する方法はありますか？

ありがとう。

CW

0 投票する
1 に答える
3006 参照

google-bigquery - bq ロードのエラー「値を文字列に変換できませんでした」

bq コマンドで Google Cloud Storage から BigQuery にログを読み込もうとしたところ、「値を文字列に変換できませんでした」というエラーが表示されました。

私のサンプルデータ

私のスキーマ例

ID は、単一の ID で引用符なしで変換できないようです。データは fluent-plugin-s3 で作成していますが、カンマでつないだ複数の ID は引用符で括ることができ、単一の ID にはなりません。

これらのデータを BigQuery に読み込むにはどうすればよいですか?

前もって感謝します

0 投票する
3 に答える
804 参照

fluentd - デフォルトでtd-agentがtreadataに送信しないようにする方法は?

http://www.fluentd.org/faqsによると、td-agent は

これはデフォルトでどこで有効になっていますか? このデフォルトをオフにするためのエントリが構成ファイルにありません。何か不足していますか？


12345678910