0

AWS の RHEL 7.2 で実行される ELK サーバーを構築しました。計画では、S3 バケットから cloudtrail ログを取り込み、キバナのフロント エンドでマジックを実行する予定ですが、うまくいかず、解決しようとして人生の何日かを失いました。 . logstash.log から、S3 バケット内のファイルを読み取っていることがわかりますが、それだけです。他に何も起こっていないようです。

私のセットアップ：

RHEL 7.2
kibana-4.5.0-1.x86_64
logstash-2.3.2-1.noarch
elasticsearch-2.3.3-1.noarch
nginx-1.6.3-8.el7.x86_64 (reverse proxy kibana to port 80)


This is what my /etc/logstash/conf.d looks like :
-rw-r--r-- 1 root root 574 May 31 14:55 02-cloudtrail-input.conf
-rw-r--r-- 1 root root 432 May 31 15:04 30-elasticsearch-output.conf

root@elk conf.d]# 猫 *

input {   
    s3 
    bucket => "xyz..cloudtrail"
        access_key_id => 'XYZ'
        secret_access_key => 'ABC'
        delete => false
        codec => "cloudtrail"
        prefix => "cloudtrail/AWSLogs/xxxxx/CloudTrail/ap-southeast-2/2016/"
        type => "cloudtrail"
        interval => 10 # seconds
        region => "ap-southeast-2"
        sincedb_path => "/data/logstash/cloudtrail/db/sincedb"
    }
}
output {
        #stdout {}
        stdout { codec => rubydebug }
    elasticsearch {
        hosts => "localhost:9200"
        sniffing => true
        #codec => "cloudtrail"
        #index => "cloudtrail"
        index => "logstash-%{+YYYY.MM.dd}"
        #index => "%{[@metadata][cloudtrail]}-%{+YYYY.MM.dd}"
        #index => "cloudtrail-%{+YYYY.MM.dd}"
        action => create
        manage_template => false
    workers => 4
    }
}

installed plugins :
logstash-codec-cloudtrail
logstash-input-s3
logstash-output-s3

logstash 出力でインデックスを定義する方法がわかりませんが、kibana フロント エンドでインデックスを検索し、3 つの時間枠オプションのいずれかを選択できますが、それが何を意味するのかわかりません。sniffing = true にする必要がありますか? アクションを定義する必要があります => create ? logstash の入力と出力の両方で cloudtrail コーデックを定義する必要がありますか?

「プラグインが名前空間で定義されていません。プラグインファイルをチェックしています」と表示されているときの意味を誰か教えてもらえますか? 必要なプラグインがすべてインストールされているにもかかわらず、プラグインが見つからないように思えます（私は思う）

これは、手動でlogstashを開始したときの出力です...しかし、それは私にとってあまり意味がありません..

Reading config file {:config_file=>"/etc/logstash/conf.d/02-cloudtrail-input.conf", :level=>:debug, :file=>"logstash/config/loader.rb", :line=>"69", :method=>"local_config"}
Reading config file {:config_file=>"/etc/logstash/conf.d/30-elasticsearch-output.conf", :level=>:debug, :file=>"logstash/config/loader.rb", :line=>"69", :method=>"local_config"}
Plugin not defined in namespace, checking for plugin file {:type=>"input", :name=>"s3", :path=>"logstash/inputs/s3", :level=>:debug, :file=>"logstash/plugin.rb", :line=>"76", :method=>"lookup"}
Plugin not defined in namespace, checking for plugin file {:type=>"codec", :name=>"cloudtrail", :path=>"logstash/codecs/cloudtrail", :level=>:debug, :file=>"logstash/plugin.rb", :line=>"76", :method=>"lookup"}
config LogStash::Codecs::CloudTrail/@spool_size = 50 {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@bucket = "abcdbase-cloudtrail" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@access_key_id = "XYZ" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@secret_access_key = "ABC" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@delete = false {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@codec = <LogStash::Codecs::CloudTrail spool_size=>50> {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@prefix = "abcdbase-trail/AWSLogs/554658506446/CloudTrail/ap-southeast-2/2016/" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@type = "cloudtrail" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@interval = 10 {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@region = "ap-southeast-2" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@sincedb_path = "/data/logstash/cloudtrail/db/sincedb" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@add_field = {} {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@use_ssl = true {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@credentials = [] {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@backup_to_bucket = nil {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@backup_add_prefix = nil {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@backup_to_dir = nil {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@exclude_pattern = nil {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
config LogStash::Inputs::S3/@temporary_directory = "/tmp/logstash" {:level=>:debug, :file=>"logstash/config/mixin.rb", :line=>"153", :method=>"config_init"}
Plugin not defined in namespace, checking for plugin file {:type=>"output", :name=>"stdout", :path=>"logstash/outputs/stdout", :level=>:debug, :file=>"logstash/plugin.rb", :line=>"76", :method=>"lookup"}
Plugin not defined in namespace, checking for plugin file {:type=>"output", :name=>"elasticsearch", :path=>"logstash/outputs/elasticsearch", :level=>:debug, :file=>"logstash/plugin.rb", :line=>"76", :method=>"lookup"}

logstash.log が method=>"list_new_files" と言い続けるとき、それはどういう意味ですか? (logstash が停止/開始されるたびに) S3 バケットを再読み込みするのに忙しいということですか?

たくさんの質問があることは承知していますが、このセットアップをゴミ箱に捨てる前に、助けを求めようと思いました.

ありがとう

4

1 に答える 1