問題タブ [splunk]

Google App Engineでのログインを改善するためのアドバイスはありますか？私は現在SplunkStormを使おうとしていますが、入力に関しては気が利いていて、頻繁にダウンします。他の誰かがこれに遭遇し、何らかの形でそれを解決しましたか？

現在、LogServiceから読み取り、RESTAPIを介してログをSplunkStormにパイプするバックエンドで実行されるプロセスがあります。多くの場合、これは失敗するか、ストームがダウンするか、バックエンドIPが変更されます。

私の問題は、App Engine内で提供されるログにあります。新しいバージョンがプッシュされるとログが消え、提供されたダッシュボードでログをクエリすることはほとんど使用できなくなります。Splunkは潜在的なソリューションでしたが、クラウドソリューションには多くの課題が残されています。

私のログへのより良いインターフェースを提供するものは何でもありがたいです。

splunkでレックスを使用して、金額と3桁の通貨コードを含むフィールドから小数の金額を抽出しています。両方の値はスペースで区切られます。

例：

私はrexコマンドをインラインで使用しています：

このコマンドの使用はほとんど成功していますが、私のエラーが発生するのは1.00インドルピーです。

結果：

どんなアイデアも役に立ちます。完全な免責事項：私は完全なプログラマーではありませんし、そうなることも望んでいませんが、Splunkで正規表現を書くことは楽しんでいます。

Splunk（ログファイルなどのマシンデータを分析するツール）を使用しており、PHPでアプリケーションを使用しています。一部のデータについては、php（CLIベース）でアプリケーションを呼び出す必要があります。残念ながら、SplunkはPython呼び出しのみをサポートしています。
「パススルー」のように、同じ引数を使用してphpを1：1で「転送/呼び出し」、出力を返す簡単な方法はありますか。いわゆるサブプロセスモジュールを使用したソリューションの一部しか見つかりませんでしたが、Pythonの経験がゼロであるため、動作させることができません。

たとえば、splunkは次のように呼び出します。-
python external_lookup.py argument1 argument2 argument3
次に、pythonスクリプトは（pythonに与えられたCLI引数を使用して）呼び出す必要があります。-次に、
php external_lookup.php argument1 argument2 argument3
phpはその出力を書き込みます-Pythonはその出力
をキャプチャし、それ自体を出力します

どんな助けでも大歓迎です、または実用的なサンプルスクリプトはさらに良いです。

よろしくお願いします、
ヴィンス

JMeter を使用して、運用環境でいくつかの単純なシンセティック トランザクションを実行し始めたところです。また、テスト実行の概要を XML ファイルにキャプチャするために多数のリスナーを追加しました。私は現在、このデータを Splunk に取り込んでチームの他のメンバーに報告することを検討しており、これを行うための最良の方法を探していました。

最初に、JMeter によって生成された XML ファイルを Splunk でインデックス化することでこれを行いましたが、これはうまく機能し、必要なレポートを生成することができます。ただし、このテスト計画は最終的に 1 分間に 2 回実行され、20 個以上のボックスにヒットするため、理想的には XML ファイルをスキップして (サイズが大きくなる可能性があります!)、データを Splunk に直接取得したいと考えています。

これにはどのような代替手段がありますか？

Graphite が Splunk からログ データを取得してグラフを描画できるかどうかを知りたいです。Graphite が Nagios からデータを読み取れることは知っていますが、Splunk からもプルできるかどうかを知りたいです。

私は Splunk に比較的慣れていないので、過去 5 分間の特定のイベントの平均タイミングを表示する新しいビューを作成しています。マクロ検索を作成して、2 つのパラメーター (トランザクション名と検索期間) を取る検索を実行したので、最初のパネルでは、これは EVENT_*_LOGIN と -5m です。ビューには現在、個別のイベント名ごとに結果の単純な表が表示されます。

私がやりたいことは、ユーザーが特定の行をクリックすると、過去 4 時間のそのトランザクションのすべてのイベントのタイムライン ビューにドリルダウンすることです。クリックまたはドリルダウンで表示される情報を指定する方法はありますか?

このあいまいな場合はお詫びします。詳細については、私にメッセージを送信してください。必要です。

前もって感謝します

その要約レコードに関連するイベントを示す 2 番目のテーブルにドリルダウンする要約テーブルを含むダッシュボードを作成しました。

ドリルダウンが機能し、必要な行が表示されていますが、設定した特定のフィールドではなく、そのイベントのすべてのフィールドが表示されています。検索アプリを使用して単独で検索クエリを実行するか、ダッシュボードで個別に検索クエリを実行すると、適切なフィールドが表示されます。

これはマクロ検索コードです

ダッシュボードの XML は次のとおりです。

前もって感謝します

個々のイベントを Splunk に送信するスクリプトがあります。各イベントは基本的に、HTTP リクエスト (GET または POST) に関するレポートです。イベントにはいくつかのフィールドが含まれていますが、重要なものは StepName と Timing の 2 つです。

1. StepName は HTTPRequest などのタイトルになります。
2. タイミングは、HttpRequest にかかるミリ秒の int 値になります。

過去 15 分間の各ステップの平均所要時間を示すレポートを作成しています。ただし、エンド ユーザーの観点からは、一部の手順は 1 つのプロセスの一部です。

1. Step1 - GetLoginPage
2. ステップ 2 - PostLoginPage
3. ステップ 3 - ProcessUserDetails
4. Step4 - GetHomePage

この場合、ステップ 2 とステップ 3 はエンド ユーザーにとって 1 つのプロセスになるため、これらが 1 つのステップであるかのようにレポートできるようにしたいので、次のようにします。

GetLoginPage 50
PostLoginPage 100
ProcessUserDetails 250
GetHomePage 80

になるだろう

GetLoginPage 50
PostLoginPage 350
GetHomePage 80

StepName で置換を使用できるので、

GetLoginPage 50
PostLoginPage 100
PostLoginPage 250
GetHomePage 80

これらの結果をマージして、2 つの PostLoginPage ステップを合計し、3 つの個々のステップの期間の平均を得るにはどうすればよいですか?

各ステップには、同じ実行のステップのグループを関連付ける TransactionGUID というフィールドがあることに注意してください。

構造化データと非構造化データの両方を含む大量のデータを格納するシステムを作成する必要があります。私のクエリは、バイナリ情報だけでなくテキストも検索します。

これらの要件を満たすソリューションを探しています。私は Splunk に出くわしました。これは非常にユーザーフレンドリーで、優れた API を提供しているようです。ただし、非常にログ指向のようで、テキスト検索のみをサポートしているようです (バイナリーはサポートしていません)。私のデータはログではありません。検索する必要がある生のテキスト/バイナリ データがたくさんあります...

だから私の質問は：

1. Splunk は私の問題に対する良い解決策になるでしょうか? 二分探索を行う方法はありますか？
2. おそらくより良い解決策はありますか？たぶんHadoop（私はそれについて少し読みましたが、それが私が探しているものかどうかわかりません）？

ありがとう！