3

物事は行われました：

次のリンクから Hadoop をインストールします。

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_4_4.html

Hping3 をインストールして、以下を使用してフラッド リクエストを生成しました。

sudo hping3 -c 10000 -d 120 -S -w 64 -p 8000 --flood --rand-source 192.168.1.12

上記のリクエストをログに記録するためにインストールされたsnort：

sudo snort -ved -h 192.168.1.0/24 -l .

これにより、ログ ファイル snort.log.1427021231 が生成されます。

私はそれを読むことができます

sudo snort -r snort.log.1427021231

フォームの出力を与える：

=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ =+=+=+=+=+=+=+=+=+=+=+=+

03/22-16:17:14.259633 192.168.1.12:8000 -> 117.247.194.105:46639 TCP TTL:64 TOS:0x0 ID:0 IpLen:20 DgmLen:44 DF AS Seq: 0x6EEE4A6B Ack: 0x6DF6017B Win1 TcpLen: 0 : 24 TCP オプション (1) => MSS: 1460 =+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ =+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+

使った

hdfs dfs -put <localsrc> ... <dst>

このログ ファイルを HDFS にコピーします。

今、私が助けて欲しいThnigs：

ログ ファイル内の送信元 IP アドレス、送信先 IP アドレス、ポート アドレス、プロトコル、タイムスタンプの合計数をカウントする方法。

(私は自分自身の Map reduce プログラムを書かなければなりませんか? または、そのためのライブラリがあります。)

私も見つけました

https://github.com/ssallys/p3

しかし、実行できませんでした。JAR ファイルの内容を調べましたが、実行できませんでした。

ratan@lenovo:~/Desktop$ hadoop jar ./p3lite.jar p3.pcap.examples.PacketCount

Exception in thread "main" java.lang.ClassNotFoundException:        nflow.runner.Runner
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:274)
at org.apache.hadoop.util.RunJar.main(RunJar.java:201)

ありがとう。

4

1 に答える 1

1

簡単に検索すると、これはカスタム MapReduce ジョブが必要な場合があるようです。

アルゴリズムは、次の疑似コードのようになります。

Parse the file line by line (or parse every n lines if logs are more than one line long).

in the mapper, use regex to figure out if something is a source IP, destination IP etc.

output these with key value structure of <Type, count> 
    type is the type of text that was matched (ex. source IP)
    count is the number of times it was matched in the record

have reducer sum all of the values from the mappers, and get global totals for each type of information you want

write to file in desired format.
于 2015-03-31T17:57:24.150 に答える