問題タブ [access-log]

いくつかのデータを含む 1 つの Apache アクセス ログ ファイルがあり、それは継続的に増加しています。Apache Spark Streaming API を使用してそのデータを分析したいと考えています。

そして、Spark は私にとって新しいものであり、 jssc.textFileStream(directory)関数を使用してログ データを取得する 1 つのプログラムを作成しました。しかし、私の要件では機能しません。

spark を使用してそのログ ファイルを分析する方法をいくつか提案してください。

これが私のコードです。

このコードは、既存のファイルからデータを返しません。これは、新しいファイルを作成するときにのみ機能しますが、その新しいファイルを更新すると、プログラムは更新されたデータを返しません。

ゴール

RRDTool を使用して、Web アプリケーションの apache/tomcat アクセス ログから論理的な「ユーザー アクティビティ」をカウントしたいと考えています。

具体的には、一定期間、いくつかの URL パターンの発生をカウントしたいと考えています。

例

2 つのアプリケーションがあります (「foo」と「bar」と呼びます)。

これらの URL に興味があります。ユーザーがいつ「面白いことをした」かを示します。

基本的に、特定の間隔 (10 分、1 時間、1 日など) で何人のユーザーがホップしたか、スキップしたか、ジャンプしたか、クロールしたか、歩いたかなどを知りたいと考えています。

参考・出発点

RRDTool へのアクセス ログのインポートに関するこの記事は、参考になる出発点のように思えました。 http://neidetcher.com/programming/2014/05/13/just-enough-rrdtool.html

ただし、明確にするために、この例ではアクセスログを直接使用していますが、「バケット内」の少数の URL を使用して「各バケット内の数」をカウントする必要があります。

いくつかのスクリプトが必要です..

これは、bash & grep & wc -- パターンを反復処理して、出力を「中間結果」テキスト ファイルに送信することで実行できます....しかし、RRDTool は最小限の「外部コーディング」でこれを実行できると信じています。

そうは言っても、RRDTool は最小限の「外部コーディング」でこれを実行できると思いますが、詳細は不明です。

いくつかのポイント

• 「2 つのアプリケーション」について言及したのは、実際には異なるログ ファイル形式の別々のサーバーからそれらを提供しているためです。それらを同じRRAファイルに入れたいのですが

• 最終的にはこれをサボテンで報告したいと思います。ただし、最初は RRDTool の詳細を理解したかった

• あらゆるコーディングを行うことができますが、管理とコンピューターのリソースの両方で、可能な限り効率的に保ちたいと考えています。（管理上、つまり、新しいインスタンスを簡単に監視できます）

• 私は RRDTool を初めて使用し、RTM を行っています。（およびチュートリアルのウォークスルー）。私はリレーショナル データベースやスプレッドシートなどに慣れており、RRA 形式のニュアンスについてはまったく頭にありません。

前もって感謝します！

Apache.conf で LogFormat をセットアップしました。しかし、access.log で cloudflare からのログを確認できません。

テスト用 ：

ドキュメントを検索しましたが、答えが見つかりませんでした。アクセス ロギングを有効にする推奨される方法は何ですか?

HTTP動詞、要求されたパス、送信元IPアドレスなどが標準出力またはログファイルに出力されると思います。

これまでに得たのは次のとおりです。

サーバーはリクエストに応答しますが、ログが表示されません。

slc run現在、 (プロセス マネージャーなし)を使用してアプリを実行する必要があります。

Tomcat のデフォルト バルブの代わりに logback-access を使用します。

%b パターンを使用しましたが、出力が変です。

まず、クラス「ch.qos.logback.access.tomcat.LogbackValve」を使用します

このパターンを書きました。

次に、クラス「org.apache.catalina.valves.AccessLogValve」を使用します

このパターンを書きました。

同じだと思いますので、同じ時間を使ってみてください。ただし、「%b」属性の出力は異なります。

これは例です。

まずはログバック。

[02/Jun/2015:20:12:28 +0900] /test/testLayout.css 200 366 -

次に、Tomcat バルブです。

[02/Jun/2015:20:12:28 +0900] /test/testLayout.css 200 367 2769

Logback の出力は「-」ですが、Tomcat は「2769」です

Tomcat バルブの値は正しいと思います。

なぜそれらは異なるのですか？

あなたのアドバイスを教えてください。

ps。ログバックのバージョンは 1.1.3 です。logback-core-1.1.3.jar、logback-classic-1.1.3.jar を使用しています。logback-access-1.1.3 を同時に使用すると、tomcat がエラーを出力します。