問題タブ [elastic-stack]

私のシステムはリクエストをログに記録します。

応答が到着した場合は、要求オブジェクトでログに記録したいと考えています。

つまり、ElasticSearch にアクティビティのクエリを実行すると、応答を含むかどうかに関係なく、要求ごとに行が取得されます。これは、SQL LEFT OUTER JOIN に似ています。

私は、Logstash-ElasticSearch パイプラインに沿ったあらゆるソリューションに対してオープンです。ただし、これは時系列データであるため、集約バケットはページングを防止するため、可能なソリューションではありません。

ありがとう。

"Schwarz"名前フィールドまたはメッセージ フィールドのいずれかで検索語を取得する以下のクエリがあります。言語はオーストリア語である必要があり、ステータス タイプは提供されたリストと同じである必要があります。次の例外が発生しましたが、その理由がわかりません。

QueryParsingException[[my_test_index] [_na] クエリの形式が正しくありません。start_object の後にフィールドがありません]; }]",

まだ機能するフィルターなしのクエリを次に示します。

logstash フォワーダー構成ファイルに複数のパスを追加しました。しかし、最初のものだけが機能します。2 番目のパスのログは送信されません。私の設定ファイル。

最初のパスブロックでそれらを一緒に追加できることはわかっていますが、それは機能しますが、1 つのパスブロックでは実行できないと思われる 2 つの異なるタイプを追加したいと考えています。

(これは、私の他の質問logstash grok filter for custom logs に関連しています)

次のような行のログファイルがあります。

最初の行に一致するパターンを作成しました。

しかし、明らかにそれは、data=が最後にある行に対してのみ機能し、2行目の最後にstatus=とfinal=がある行、または他の行の他の属性と値のペアに対してのみ機能しますか? foo=bar特定の時点の後に、出力で属性/値のペアとして認識して出力したい任意のペアがあるというパターンを設定するにはどうすればよいですか?

中央ログ サーバーをセットアップしようとしています。nxlog を使用して、elasticsearch の logstash と kibana を実行している ubuntu サーバーにウィンドウのセキュリティ イベントを送信していますが、nxlog が出力するログ ファイルは正しく見えません。私は Windows 8 を使用しており (まもなく 10 にアップデートされる可能性があります)、データを解析するために何をする必要があるのか​​疑問に思っています。grok を試しましたが、一部のフィールドが空白で、ログに 2 つの日付/時刻もあります。

*注 Google で検索し、他の人の提案を試してみましたが、ログは常に同じ結果になります。JSONではなくXMLとしてエクスポートしようとしても。

nxlog.conf

logstash.conf

logstash で受け取った json

ELK スタックのセットアップに成功しました。ELK は、データに関する優れた洞察を与えてくれます。ただし、次の結果を取得する方法がわかりません。

たとえば、列user_idとaction. 動作中の値はinstalled、activated、engagementおよびclickです。そのため、特定のユーザーがinstalled5 月 21 日と 6 月 21 日にアクティビティを実行した場合、6 月の結果をフェッチしている間、ELK は以前にそのアクティビティを既に実行したユーザーを返さないようにする必要があります。たとえば、次の表の場合:-

User1 と User2 は、それぞれ 5 月 1 日と 5 月 3 日にアクティブ化されました。User2 も 5 月 8 日にアクティブ化されました。したがって、5 月に activity を持つユーザーをフィルタリングすると、Activatedcount が返されます2。つまり、

5 月 8 日の User2 は、以前に同じアクティビティを実行したため、削除されています。

6 月に同じクエリを作成しても、同じユーザーが以前にも同じアクティビティを実行しているため、何も返されないはずです。

ELK でこのクエリを作成するにはどうすればよいですか?

Elastic インデックスのデータに問題があり、特定の文字列フィールドに同じであるべき異なる値が含まれています。たとえば、X-Box、X Box、XBox などです。

マッピングにいくつかの変換を追加できることはわかっていますが、多くのソースからデータが入ってきて、値を受け取るまで値が不明であるため、実際には適切ではありません。

変換のようなものを検索で定義することは可能ですか? たとえば、ユーザーは「XBox」を検索しますが、それを定義したため (差異を発見した後)、Elastic は「X-Box および XBox」のドキュメントも返すことを知っていますか?

それが理にかなっていることを願っていますか？前もって感謝します。