問題タブ [syslog]

Rubyが提供する最速のロガーを見つけたいです。私の直感によると、このレースではsyslogが勝つでしょう。しかし、私の直感は間違っているようです。Syslogは、私がテストした3つのロガーの中で最も遅いことがわかりました。MacBook Pro、OSX 10.6（Snow Leopard）、Intel Core2 Duo、4GBのRAM、MacPortsから構築されたRuby1.8.7を使用しています。私は何か間違ったことをしていますか？または、Rubyのsyslog実装はそれほど遅いですか？結果が私のものと異なる場合は、遠慮なく投稿してください。お気に入りのRubyロガーをベンチマークに追加することもできます。私の目標は、利用可能な最速のロガーを見つけることです。私は純粋なパフォーマンス（スループット）にのみ興味があります。マルチターゲットロギングなどの機能は、ここでは問題になりません。

Syslogには「hello＃{i}」という単純な形式しか使用していないことに注意してください（理論的にはこれはさらに高速になるはずですが、そうではありません）。また、私のMacのデフォルトのsyslogdには、制限されたメッセージクォータ（500 /秒）があるようです。次のメッセージがsyslogで時々生成されます。

Railsアプリケーションでsyslogを使用することを考えています。プロセスの概要は、このブログ投稿にあります。

1. gem 'SyslogLogger'あなたに追加Gemfile
2. require 'syslog_logger'の上部に追加config/environments/production.rb
3. またconfig.logger =、同じファイルの行のコメントを解除します。

プロダクションボックスには、乗客を使用して実行されている4つのレールアプリケーションがあります。4つのアプリケーションすべてにsysloggerを使用するように切り替えると、4つのアプリケーションすべてからのログメッセージが1つのファイルに送られ、ログメッセージがインターリーブされるのではないかと心配しています。もちろん、splunkを使用することもできますが、最初に、Railsアプリケーションごとに1つのログファイルを取得できるかどうかを確認したいと思いました。それは私の状況にとって望ましいことです。

それは可能ですか？

Websphere で実行されている Web アプリケーションは、log4j SysLogAppender を使用して、同じマシンにある syslog デーモンにメッセージを記録しています。syslog デーモンのデフォルト設定は、LOG_FROM_REMOTE=NO です。これは、syslog デーモンと同じマシンにある Web アプリケーションがメッセージを受け入れられないということですか?

一度に数か月分のログ エントリを含む大きなログ ファイルを分割しようとしています。また、ログ ファイルを日付ごとに分割しようとしています。次のように何千もの行があります。

ファイル logfile.20090904 と logfile.20090905 にエントリが含まれるように分割しようとしています。

各行を読み取って適切なファイルに送信するプログラムを作成しましたが、実行がかなり遅くなります (特に、月の名前を数値に変換する必要があるため)。ファイル内の最初の日付を見つける必要がある毎日のgrepを実行することを考えましたが、それも遅いようです。

より最適なソリューションはありますか? たぶん、よりうまく機能するコマンドラインプログラムがありません。

これが私の現在の解決策です：

Flex / AIRがCiscoスイッチなどのデバイスからsyslog通知を受信する方法はありますか？私が読むことができる情報や見るべきサイトを知っている人はいますか？

syslog-ng（経由で）フックするPHPプログラムを作成しましたが、syslog-ng.conf基本的には次のとおりです。

whereprocess()とcleanup()は私が定義したものです。

私が直面している問題は、cleanup(2)呼び出されないことであり、プログラムが終了する前に実行する必要があります。

SIGTERM、SIGHUP、および SIGPIPE を使用してキャッチしようとしましpcntl_signal()たが、アプリケーションのその部分は正常に動作しているようです (PHP プロセスで kill -1 を使用すると、シグナル ハンドラーが呼び出されて実行されますcleanup())。これらのメッセージを syslog-ng から取得します。

ストリームがブロックされているため、PHP がシグナルハンドラーを呼び出さないと考えて、STDIN を非ブロックに設定しようとしました。それもうまくいきませんでした。私のシグナルハンドラは呼び出されませんでした。

syslog-ng がアプリケーションを停止しようとしていることをどのように知ることができるので、クリーンアップを行うことができますか?

ありがとう、トム

更新: 1 から 31 までのすべてのシグナルをキャッチしようとしましたが、syslog-ng を再起動しても (または SIGTERM で強制終了しても) 何も受信しません。

次のような内容のログ ファイルを読み込もうとしています。

次の正規表現を試しましたが、取得していますERROR: Unclosed group near index 90

正規表現 =(\d+\.\d+\.\d+\.\d+)\s-\s-\s\[(\d+)/(\w{3})/(\d{4}):(\d{2}):(\d{2}):(\d{2})\s(\d{4}\)].*

誰かが私を助けることができますか？

職場では、分散アプリケーションを構築しています (LAN 上の複数のマシンにまたがる可能性があり、後で WAN + VPN 上の複数の大陸にまたがる可能性があります)。ログ ファイルを各マシンのローカルに置きたくない (ディスクがいっぱいになり、まとめて表示できない) ため、ネットワーク経由でログを集中化する必要があります。ほとんどのログは重要ではないため、UDP は問題ありませんが、一部は損失を被る重要なアラートであり、確実に配信する必要があり、TCP を意味します。ロギング プロトコルがおしゃべりすぎるとネットワークが混雑したり、アプリが応答しない場合にアプリがクロールにドラッグされたりするのではないかと心配しています。

私が検討したいくつかの可能性は次のとおりです。

• syslog (完璧に思えますが、私の上司はこれに反対しているので、選択できない可能性があります)。
• facebook からのスクライブ(ただし、すべてのマシンにサーバーがあると少し重いようです。すべてのログ メッセージに超信頼性が必要なわけではありません)。
• さまざまなレベルのトランザクション安全性に合わせて調整された複数のキューを持つことができるrabbitmqのようなメッセージ キューを使用します。
• 最悪の場合、自分でゼロから書くこともできます。

他の提案はありますか？どのような集中ログ ソリューションを使用しましたか? また、それらはどの程度うまく機能しましたか?

編集：ストアアンドフォワード設計により、実行中のアプリがネットワーク遅延から切り離されるため、スクライブに傾倒していました。しかし、それをインストールするのに苦労した後、(1) バイナリパッケージとして利用できないことを発見しました. そして最悪の場合、正しくコンパイルすることさえできません。これは、オープン ソースであっても、リリース品質のコードではありません。

ruby on rails で syslog-logger gem を使用しています。これはデフォルトで、user と呼ばれる機能と rails と呼ばれるプログラムを使用します。施設を「local0」や「local1」などの施設に設定するにはどうすればよいですか?

Log4netログをSyslogサーバーに取得する方法の設定例を探しています。どんな助けでも大歓迎です。