0

すべての S3 バケット ログファイルを継続的に Logstash サーバーにプルするスクリプトを作成したので、このプル リクエストのパターンを使用して解析できます。残念ながら、スクリプトがログファイルに追加するのではなく、最初からログファイルを再作成することを考えると、Logstash のfile入力には新しい変更が見られません。何か案は？

以下のスクリプト:

#!/usr/bin/ruby

require 'rubygems'
require 'aws/s3'

# for non-us buckets, we need to change the endpoint
AWS.config(:s3_endpoint => "s3-eu-west-1.amazonaws.com")

# connect to S3
s3 = AWS::S3.new(:access_key_id => S3_ACCESS_KEY, :secret_access_key => S3_SECRET_KEY)

# grab the bucket where the logs are stored
bucket = s3.buckets[BUCKET_NAME]

File.open("/var/log/s3_bucket.log", 'w') do |file|

  # grab all the objects in the bucket, can also use a prefix here and limit what S3 returns
  bucket.objects.with_prefix('staticassets-logs/').each do |log|
    log.read do |line|
      file.write(line)
    end
  end
end

何か助けはありますか？ありがとう！

4

2 に答える 2

1

最終的にスクリプトを次のように変更しました。

#!/bin/bash 
export PATH=$PATH:/bin:/usr/bin
cd /var/log/s3/$S3_BUCKET/
export s3url=s3://$S3_BUCKET/$S3_PREFIX
s3cmd -c /home/logstash/.s3cfg sync --skip-existing $s3url .

/var/log/s3/my_bucket...そして、単一のログファイルの評価からディレクトリ全体のグロビングに変更します:

input {
  file {
    type => "s3-access-log"
    path => "/var/log/s3/$S3_BUCKET/$S3_BUCKET/*"
    sincedb_path => "/dev/null"
    start_position => "beginning"
  }
}
filter {
    if [type] == "s3-access-log" {
        grok {
            patterns_dir => ["/etc/logstash/conf.d/patterns"]
            match => { "message" => "%{S3_ACCESS_LOG}" }
            remove_field => ["message"]
        }
        date {
            match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
            remove_field => ["timestamp"]
        }
    }
}
output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}

今では見事に動作します。

于 2014-10-30T18:16:05.517 に答える