問題タブ [fluentd]

Fluentd を使用して、HDFS の Apache ログ データをキャプチャして統合しています。データを HDFS に書き込むようにエージェントを構成しました。つまり、/etc/td-agent/td-agent.confファイルには以下が含まれます。

Fluentd のドキュメントに従って、HDFS の追加を有効にしました。データは完全に流れます。過去数週間、問題なく何百万ものトランザクションをストリーミングしています.

データは、次のような行を含むファイルに保存されます。

各行には、タブで区切られた 3 つの要素が含まれています。

1. タイムスタンプ
2. 識別タグ
3. Apache ログの列のキーと値のペアを含む JSON

Hive テーブルを作成しようとしていますが、タブ区切りの文字列と各行の JSON が混在しているという事実を処理する方法がわかりません。Hive に JSON デシリアライザーがあることは知っていますが、レコードが純粋な JSON ではないため、うまくいかないと思います。

このデータの create table ステートメントを作成する方法について誰か提案がありますか?

Kibanaとfluentdでelasticsearchをセットアップしたいです。私は2台のマシンを持っています。マシン 1 は、ログ ファイルのソースとして機能しています。すべての http リクエストでログが作成され、すべてのリクエストは個別のログ ファイルに保存されます。ログ パス strcuture は /path/year/month/day/hour/*.log のようになります。マシン2にインストールされているkibanaでelasticsearchを使用したい.

fluentd フォワーダーとアグリゲーターについて読んだことがあります。フォワード出力プラグインについても読みました。しかし、まだこのマシンをセットアップする方法がわかりません。通常、フォワーダーは単一のログ ファイルを送信するために使用されますが、私は複数のファイルを持っています。

両方のマシンで fluentd をセットアップして、マシン 1 からマシン 2 のログを kibana で参照できるようにする方法を教えてください。

1 つのログ ファイルの形式:

どんな助けでも大歓迎です。

ありがとう

助けが必要です。ubuntu 12.04 で最新バージョンの td-agent を使用して、apache ログを mongodb に解析しています。config で「format none」を入力すると、mongo ドキュメントが作成され、すべてがメッセージ キーにプッシュされますが、 「format apache」または「format apache2」または「format /^***********$/」(td-agent 自体によって指定された apache 正規表現) と言うと、単純に pattern not と表示されます。マッチした、

私はパーミッションをチェックしましたが、他の方法ですべて解決しましたが、これに対する解決策が得られませんでした。td-agent(Fluentd) を使用してロギング プロジェクトを実行できた場合は、助けてください。

または、このプロジェクトを達成するために Logtrash に移行する必要があります。

/var/log/td-agent/td-agent.log の警告は次のとおりです。

2015-02-09 18:41:39 +0530 [警告]: パターンが一致しません: "192.168.100.11:80 192.168.100.11 - - [09/Feb/2015:18:41:39 +0530] \"POST / get_details HTTP/1.1\" 200 580 \" http://192.168.100.11/login \" \"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:35.0) Gecko/20100101 Firefox/35.0\""

2015-02-09 18:41:39 +0530 [警告]: パターンが一致しません: "192.168.100.11:80 192.168.100.11 - - [09/Feb/2015:18:41:39 +0530] \"POST / get_user HTTP/1.1\" 200 365 \" http://192.168.100.11/login \" \"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:35.0) Gecko/20100101 Firefox/35.0\""

ありがとう、ウィリアムズ。

12factorからの次の投稿を読んで、皆さんがこれをどのように処理しているかを確認したいという質問を思いつきました.

基本的に、アプリは stdout/stderr に直接書き込む必要があります。これらのストリームを fluentd (rsyslog/syslog にバインドされていない) に直接リダイレクトする方法はありますか? fluentd についての認識が深まるにつれ、複数のアプリ/プラットフォームからのログを集約するための優れたツールになると思います。

これの主な理由は、アプリがクロスプラットフォームの場合、rsyslog/syslog が利用できない可能性があり、私が理解しているように、ロギング フレームワーク (動作するために必要な構成が必要) を使用すると、12factor に違反することになります。

ありがとう！

次の形式のログがあります。

私はこの正規表現に行き着きました：

Fluentularでテストすると (fluentd ログ入力の形式として使用します)、次のフィールドが取得されます。

メッセージ文字列を分割できません。一致するグループを次のようにしたいと思います。

適切な正規表現は何でしょうか

私は最近、fluentd + elasticsearch + kibana セットアップの使用を試み始めました。
私は現在、pythonコードで吐き出しているログファイルを読み取ることで、fluentdを介して情報をフィードしています。
ログは、次のように 1 行に 1 つずつ、json データのリストから作成されます。

ここの指示に従って、フィールド「id」を読み取り、「_id」に記入するためのfluentdセットアップがあります。

ただし、上記を挿入した後の「_id」は、ランダムに生成された_idのままになります。
誰かが私が間違っていることを指摘できれば、とても感謝しています。

冗長性のために、分散ネットワーク内のすべてのホストが syslog メッセージを 2 つの専用rsyslogノードに送信します。次に、syslog を中央のgraylogインスタンスに送信します。

これで、すべてのログ メッセージが複製されます。

質問: 冗長性を維持しながら重複を削除するにはどうすればよいですか? fluentdこれに対処する方法はありますか？または、ログメッセージを集約するように設計された他のオープンソース ソフトウェアはありますか? セットアップ全体をこれ以上複雑にしたくはありませんが、追加のコンポーネントを 1 つ挿入することは問題ありません。

複数のノード (自動スケーリング グループ) を持つ Web サーバー スタックがあり、各 Web サーバーは Fluentd を使用してログ ファイルを S3 バケットに保存する中央コレクターに転送するように構成されています。

新しいコレクタをテストしており、古いコレクタと新しいコレクタの両方にアクセス ログのコピーを送信するように Web サーバーを構成しましたが、集約されたファイルに大きな違いがあります。

古いコレクタは 2 倍のログ データを保存しています。新しいコレクターに向かう途中でデータが失われていない限り、問題が何であるかを一生把握することはできません (そして、これをどのようにテストするのが最善でしょうか?)。

Web サーバー td-agent.conf

ログコレクターの構成はまったく同じです...そのため、そこを見る必要はありません。

これは真新しい AWS ubuntu 14.04.1 VM です。

起動後、fluentd redshift プラグインをインストールしようとして、次のことを行いました。

簡単に再現できるはずです。助けてください。どうもありがとう。

mkft.log ファイルの内容は次のとおりです。