問題タブ [logfile-analysis]

見つかった場所: HoneyNet プロジェクト。scan31 と scan34 で

PHPIDSには、Web アクセス ログ ファイル内の攻撃パターンを検出するためのフィルター ルールがあります。

ログ アクセス ファイル内PHPIDSの攻撃 (、、彼らが検出できると言ったすべての攻撃) を検出できることをどのように知ることができるxssかsqliを尋ねたいと思います。apache(使用していません。)

PHPIDSフィルタ ルールが検出できることを確認するために使用するデータセット。

私の検出プログラムが攻撃を検出できることをそのデータセットに知ってもらいたいのです。

(ここでのデータセットとは、多くの攻撃パターンを含む Apache ログ ファイルを意味し、ログ ファイルに含まれる攻撃パターンの数を知っています)。私のプログラムがそのデータセット内のすべての攻撃パターンを検出できれば、私のプログラムは機能していることになります!

Attack on Webaccess 攻撃のデータセット (Apache ログ) をダウンロードできる Web サイトのリンクを教えてもらえますか?

DARPA のデータセットを見つけました。Web アクセスログに関するデータセットはありますか?

数十万行のログ ファイルがあります。

これらの行をループして、次のような特定のテキストを含む行を見つけます!!event!!。
次に、行が見つかったら、独自の特定のテキストを含む次の 3 行が見つかるまで!!event!!、この行の後もループし続ける必要があります。 3 行目を見つけたら、次の行をループし続け、イベントがなくなるまで前のプロセスを繰り返します。 !!event!!('flag1', 'flag2', and 'flag3')
('flag3')!!event!!

これを達成するためにコードを構成する方法について誰か提案がありますか?

例えば：

samplefile.log

このサンプルのコードは次のように表示されます。

Javascript/Node.js (私は Cube を使用しています) で大きな (5 ～ 10 Gb) ログファイルの解析を行う必要があります。

ログラインは次のようになります。

各行を読み取り、いくつかの解析を行い (例:と を取り除く) 5、JS クライアントを使用してこのデータを Cube ( https://github.com/square/cube )に送り込む必要があります。7SUCCESS

まず、Nodeでファイルを1行ずつ読み取る標準的な方法は何ですか?

オンラインでかなり一般的な質問のようです：

• http://www.quora.com/What-is-the-best-way-to-read-a-file-line-by-line-in-node-js
• node.jsで一度に1行ずつファイルを読みますか?

多くの回答は、一連のサードパーティ モジュールを指しているようです。

• https://github.com/nickewing/line-reader
• https://github.com/jahewson/node-byline
• https://github.com/pkrumins/node-lazy
• https://github.com/Gagle/Node-BufferedReader

ただし、これはかなり基本的なタスクのように思えます-確かに、標準ライブラリ内にテキストファイルを1行ずつ読み取る簡単な方法がありますか?

次に、各行を処理する必要があります (たとえば、タイムスタンプを Date オブジェクトに変換し、有用なフィールドを抽出します)。

スループットを最大化して、これを行う最善の方法は何ですか? 各行の読み取り、またはキューブへの送信のいずれかでブロックされない方法はありますか?

第三に、文字列分割を使用していると推測しています.JSのcontains (IndexOf != -1?) に相当するものは、正規表現よりもはるかに高速になりますか? Node.js で大量のテキスト データを解析した経験のある人はいますか?

乾杯、ビクター

q2.log という名前のログ ファイルで "Socket not open" のようなエラーを検索し
、文字列が見つかったらメールを送信する必要があります。
このプロセスは、chronjob をスケジュールできる定期的な時間間隔で発生する必要があります
が、問題は、最初のジョブで、1 行から 1000 行を読み取ったと仮定して、次回は 1000 行から残りの行まで検索する必要があることです。どうすればそれを達成できますか
よろしくお願いします

並列ワーカーから同じファイルにログを書き込むビルド システムがあります。このタイプのログで生活を簡素化するツールを探しています。

このログ ファイルの各行は、ワーカー ID で始まる任意のテキスト文字列です。例えば：

• 11、14、および 7 は、ここでは無関係の仕事をします。

1 つのワーカーによって生成されたログ レコードが数千行離れている場合があります。このエクスペリエンスを最適化する方法を探しています。関連のないレコードをすべて非表示にして、興味深いレコードだけを表示するとよいでしょう。

おまけとして - ワーカーは、一定のテキスト メッセージを使用して新しい ID で新しいワーカーを開始できる場合があります。これらの依存関係も何らかの形で追跡するといいでしょう。

これに役立つツールを知っている人はいますか?

私はインターネットとここで検索しましたが、まだ明らかな答えはありません。

ありがとう！