問題タブ [splunk]

私たちの Web アプリケーションは電子メールを送信します。多くのユーザーがいて、多くのバウンスがあります。たとえば、ユーザーが会社を変更し、会社の電子メールが無効になったとします。

バウンスを見つけるために、SMTP ログ ファイルをログ パーサーで解析します。ログは Microsoft SMTP サーバーから取得されます。

のように、いくつかのバウンスは素晴らしい550+#5.1.0+Address+rejected+user@domain.comです。user@domain.comバウンスあり。

ただし、エラー メッセージに電子メールが含まれていないものもあります550+No+such+recipient。

ログを解析して (ログ パーサーを使用)、どのメールが550+No+such+recipient.

それを行うツールが見つからなかったことに驚いています。ログ分析用の Zabbix や Splunk などのツールを見つけましたが、そのような単純なタスクにはやり過ぎのように見えます。

SMTP ログを解析し、バウンスやバウンスの原因となる電子メールを見つけるツールを知っている人はいますか?

ログ ファイルから情報を取得し、特定のキーワードが見つかったときに通知するために splunk をインストールしました。それらをキーワードとして入れることができるように、可能性のあるレールエラーを取得する方法はありますか??

プロダクションには、数日から数週間続く重大なバグ（新規または再導入）があり、お客様から常に通知されるとは限りません。私が今持っている唯一のツールはgrep、awk、perlですが、誰かが文句を言うと私はただ反応しているだけです。

特定の期間に特定のエラーが特定の回数発生した場合に、事前に通知して通知を受け取りたいです。しかし、私はすべてのエラーに関する通知でスパムされたくありません。

サーバーのクラスター向けの軽量でオープンソースのソリューションはありますか？電子メール、SMSまたはRSSは問題ありません。また、レポートと傾向をグラフで表示することもできますが、必須ではありません。

現在、Apache Log4Jを使用していますが、これを使用して電子メールアラートを送信できることはわかっています。しかし、私が言ったように、私はすべてのエラーについて電子メールになりたくありません。システムがいつ通知するかについて、システムに関するインテリジェンスが必要です。そして、アプリケーションコードの外にそのインテリジェンスが必要です。

Splunk 4にプラグインして、カスタム データ収集、カスタム、レポート作成などを行う (他の splunk アプリが行っているように) アプリを構築することを検討していますが、.NET および J2EE Web アプリに焦点を当てています。ヒント、ヒント、ベスト プラクティスなどを探して、splunk のドキュメントに記載されている内容を超えて前進できるようにします。

splunk 4 アプリの構築に関するリンクや個人的な経験のフィードバックの良いリストを持っている人はいますか?

コンピューティング グリッド内の多数のサーバーからログを集約するために、Splunk に似たものを構築するために使用できる最適なコンポーネントを見つけようとしています。また、毎日大量のログがあり、単一のマシンにログを保存できないため、分散する必要があります。

私は特に、Ruby で動作し、Windows と最新の Solaris で動作するものに興味があります (ええ、私は動物園を持っています)。

私はアーキテクチャを次のように考えています。

• ログクローラー (Ruby スクリプト)。
• 分散ログ ストレージ。
• 分散検索エンジン。
• 軽量フロントエンド。

ログ クローラーと分散検索エンジンは問題外です。ログは Ruby スクリプトによって解析され、ElasticSearch はログ メッセージのインデックス作成に使用されます。フロントエンドもとても選びやすい - Sinatra。

私の主な問題は分散ログ ストレージです。MongoDB、CouchDB、HDFS、Cassandra、HBase について調べました。

• MongoDB は、Solaris で動作しないため拒否されました。
• CouchDB はシャーディングをサポートしていません (それを機能させるにはスマートプロキシが必要ですが、これは試したくありません)。
• Cassandra はうまく機能しますが、ディスク容量を大量に消費するだけであり、Cassandra ノード間で負荷を分散するために毎日オートバランスを実行する必要があります。
• HDFS は有望に見えましたが、FileSystem API は Java のみで、JRuby は苦労しました。
• HBase は最善のソリューションのように見えましたが、デプロイと監視は単なる災害です。HBase を開始するには、最初に HDFS を開始し、問題なく開始されたことを確認し、次に HBase を開始してそれも確認し、REST サービスを開始して、も確認してください。

だから私は立ち往生しています。HDFS または HBase がログ ストレージとして使用するのに最適であると言う人もいますが、HDFS は Java でのみスムーズに動作し、HBase は展開/監視の悪夢に過ぎません。

上記のコンポーネントを使用して、またはまったく異なるものを使用して同様のシステムを構築した経験や考えを共有できる人はいますか?

スクリプトを実行して、現在のキャッシュプロセス情報を引き出すことができるようにしたいと思います。誰かがキャッシュを使って多くのスクリプトを作成しましたか？基本的にプロセス情報をログに記録する簡単な方法はありますか？この結果、Splunkにログインできるような方法でこの情報を提示したいと思います。

このアプリケーションでは、重要な情報をログに記録して、後でデバッグする目的でテキスト ファイルをログに記録します。Splunk を使用すると、注文番号や「オブジェクト参照が見つかりません」タイプのエラーなどのデータ ポイントが既にある場合に、問題を簡単に特定できます。しかし、splunk を使用して問題の全体像を把握するのは困難です。ソフトウェアの実際の問題を特定するには、複数のログ ファイルまたはログ ファイル全体を読み込んで、問題が発生する前にアプリケーションが何をしていたかを確認する必要があります。人間のやり方でログ ファイル全体を読み取ると、実際の問題が発生する前に、アプリケーションが他のデータ ポイントに対してどのように動作したかを特定するのに役立ちます。つまり、splunk のエラーの「本当の根本原因」を確認するのは難しいのです。ソフトウェア開発の分野でのあなたの経験は何ですか。

splunkが読み込んでインデックスを作成するログファイルを作成しようとしています。Splunkの共通情報モデルを使用して、ログを次のようにフォーマットしました。

ただし、ログファイルをSplunkにロードすると、これはすべて1つのログとして読み取られ、分割されません。ログアウトをc＃で書き込むために、私はStreamWriterを使用していて、最後に印刷\r\nしていましたが、私も試しましたEnvironment.NewLine（これは明らかに同じことをします）。

これらはどちらも機能していないようであるため、個別にインデックスを作成しないでください。Splunkの経験があり、なぜそうなるのか知っている人はいますか？

リクエストの一部として作成された GET パラメータを見つけることはできますが、リクエストの POST パラメータを取得することはできません。同じ検索パラメータを何にするべきか教えてもらえますか?

IIS は実際にこれをログに記録しますか?

前もって感謝します。

Splunkにログインしたいアプリケーションがいくつかあります。UDPリスナーを介してXML形式でデータを送信します。送信されるデータは次のようになります。

ただし、Splunkで処理すると、次のように表示されます。

基本的に、Splunkは開始ノードを上書きしたように見え、その結果、ログレベルのデータとそれを受信した日時が失われます。それを送信しているアプリケーションは、log4jタイプのターゲット（Log4JXmlEventLayoutレイアウト）でnLogを使用しています。ソースタイプをlog4jxml（カスタム名）として構成しましたが、props.confファイルの日付/時刻フィールドで何もしないように指示する必要があると思います（ただし、それが何であるかはよくわかりません）。

また、WindowsバージョンのSplunkを使用しているため、ファイルパスはオンラインマニュアルとは少し異なります。

どんな助けでも大歓迎です。