問題タブ [syslog-ng]

syslog fifo とログ ファイルについて質問があります。

たとえば、gc.logがあり、syslogにこの構成があります

splunk でこの gc.log のインデックスを作成します。しかし、この方法では CPU の消費が高くなり、このログ ファイルのインデックス作成方法を変更したいと考えています。

fifo ファイルによるインデックス作成を行いたいのですが、アプリケーションがこのログ ファイルを生成する方法を変更できません。

これどうやってするの ？

Syslog-NG を使用して監視サーバーに収集されたログがいくつかあります。

• ローカルの日替わりファイルにコピーされ、
• MySQL データベースに保存されます。

残念ながら、これらは PHP 通知として評価されるため、エラーは発生しません (この記事を参照)。

したがって、実際にエラーとして認識されるように Syslog-NG を使用して PHP エラーを処理する正しい方法は何だろうと思っています。

メッセージをJSONとしてPHPスクリプトに送信しようと必死です。

PHPスクリプトは問題ありません。単純なマクロを使用するとうまくいきますが、「format-json」関数は常にこれを返します:

テンプレートのエラー: $(format-json)

ドキュメントで見つけることができるすべてを試しましたが、得られる応答はすべて「テンプレートのエラー」です。公式ドキュメント(リンク)では 2 つの異なるスペルが使用されていますが、あまり有望ではありません。

何か案は？

スイッチから mysql データベースにファイルをログに記録したいと考えています。私はsyslog-ngを使用しており、構成ファイルで次の修正を行いました

コマンドservice syslog restartを実行すると、次のエラーが表示されます

データベース アクセスを初期化できません (DBI);rc='-1', error='No such file or directory (2)' dest ドライバーの初期化エラー;dest='d_mysql',id='d_mysql'#0 メッセージ パイプラインの初期化エラー

この問題を解決して、ログをデータベースに送信できるようにするにはどうすればよいですか?

クイックスタート チュートリアルから Apache Kafka を学習しています: http://kafka.apache.org/documentation.html#quickstart。これまで、次のようにセットアップを行ってきました。Web サーバーがポート 8888 で実行されているプロデューサー ノード。 別のノード上の Kafka サーバー (ブローカー)、コンシューマーおよび Zookeeper インスタンス。また、デフォルトのコンソール/ファイル対応のプロデューサーとコンシューマーを 3 つのパーティションでテストしました。セットアップは完璧で、送信したメッセージを作成した順序で (各パーティションで) 見ることができます。

ここで、Web サーバーから生成されたログを Kafka Broker に送信したいと考えています。これらのメッセージは、後でコンシューマーによって処理されます。現在、syslog-ng を使用してサーバー ログをテキスト ファイルにキャプチャしています。ログ集計に kafka を使用するためにプロデューサーを実装する方法について、3 つの大まかなアイデアを思いつきました。

プロデューサーの実装

第 1 種: syslog-ng の tcp ポートをリッスンします。各メッセージを取得し、kafka サーバーに送信します。ここには 2 つの中間プロセスがあります: Producer と syslog-ng
2 番目の種類: syslog-ng を Producer として使用します。ファイルに書き込む代わりに、メッセージを Kafka サーバーに送信する方法を見つける必要があります。Syslog-ng、プロデューサーは中間プロセスです。
3 番目の種類: Web サーバー自体をプロデューサーとして構成します。

私の考えは正しいですか。最後のケースでは、中間プロセスはありません。しかし、その実装がサーバーのパフォーマンスに影響を与えるとは思えません。Apache Kafka を使用する最善の方法 (上記の 3 つが適切でない場合) を教えてくれ、サーバーの適切な構成を案内してくれますか?..

PS: Web サーバーに node.js を使用しています

ありがとう、
サラス

プロセス間通信に unix-stream ソケットを使用するように syslog-ng 宛先パスを構成しようとしています。このドキュメントhttp://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.3-guides/en/syslog-ng-ose-v3.3-guide-admin-を読みましたen/html/configuring_destinations_unixstream.html .

同じための私のsyslog.conf（その一部のみ）は次のとおりです。

syslog-ng サーバーを再起動すると、次のメッセージが表示されます。

このエラーは何を意味しますか? syslog-ng で UNIX ソケットを使用するにはどうすればよいですか? 誰でも私を助けてくれませんか。

rsyslog を使用して Splunkstorm に送信したいと考えています。Apache Access と Apache Errors を同じプロジェクトに送信したいと考えています。この回答によると、2 つの個別のプロジェクトを作成することも (許可されている最大 3 つのプロジェクトを無駄にしているように思えます)、イベントにマーカーを追加することもできます。したがって

1. tag=\"access\"マーカーはand などの任意の値/ペアにすることができますかtag=\"error\"(rsyslog $template 行構文を使用しています)?
2. どのソースタイプを使用しますか? syslog または一般的な単一行データ
3. これらの 2 つの rsyslog 構成は受け入れられるように見えますか? access_log はncsa を組み合わせたもので、error_log は Apache 2.2 標準です。

$template access,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% tag=\"access\"] %msg%"

$template error,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% tag=\"error\"] %msg%"

postfix の複数行をサポートするように syslog-ng を取得しようとしています。私が理解しているように、syslog-ng は " flags(no-multi-line)" 構成オプションを使用できますが、機能していないか、間違って適用しています。

私の構成:

クライアント：

サーバ：

Logstash、redis、elastic search、kibana を使用してデモ環境を作成しました。( http://indico.cern.ch/getFile .....

ここで、logstash シッパーは、syslog-ng を使用して一元化したログ ファイルからログを読み取っています。Loogstash シッパーはそれを redis に転送し、次に Logstash インデクサー (フィルター) に転送し、最後に Elasticsearch に転送します。

ここで、logstash シッパーと redis の部分をスキップしたいと思います。これは良い考えですか？または redis が必須または重い負荷を処理する必要があります。私はそれについてはよく分かりません。

上記のpdfリンクで、Logstashのバッファリングが低く、redisが使用される理由であるログの流れをredisが管理していることを読みました。redis はデータをメモリに保持するため、メモリがいっぱいになるとどうなりますか? また、Logstash と Elasticsearch は、RAM の使用量に関して非常に空腹になる可能性があることもお読みください。JVM オプションを適切に調整する必要があります。もしそうなら、JVMを調整する方法は?

エラスティックサーチのデータ/インデックスをパージ/ローテーションする必要はありますか?

では、重い負荷に最も適しているのはどれでしょうか? [システム (OS およびデーモン) ログ、syslog、Web サーバー ログ (apache、lighttpd)、アプリケーション サーバー ログ (tomcat)、データベース サーバー ログ (mysql)、いくつかのアプリケーション ログ (ログファイル経由)] などのログを解析したいと考えています。

改善のための提案をしてください。ありがとう ！！！。

IMAGE の次のリンクを見つけてください。

( http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg )