Kibana 4.0.1 で動作するタイル マップの視覚化を取得しようとしています。
[Discover] セクションでデータを確認できますが、geoip.location[Visualize it as a Tile Map] に移動すると、Geo Coordinatesバケット タイプ、次に [aggregation type]を選択しGeoHash、次に移動するFieldと空白になります。
- キバナ 4.0.1
- ログスタッシュ 1.4.2-1-2c0f5a1
- エラスティックサーチ 1.4.4
- Debian 7 64 ビットで実行
これが私のlogstash構成です：
input {
udp {
port => 5514
type => cisco
}
}
filter {
grok {
match => { "message" => "\<%{NUMBER:num}\>%{NUMBER:seq}: \*%{SYSLOGTIMESTAMP:date}: \%SEC-6-IPACCESSLOGP: list Internet\-In\-%{WORD:acl_ver} denied %{WORD:protocol} %{IP:src}\(%{NUMBER:sport}\) \-\> %{IP:dest}\(%{NUMBER:dport}\), %{INT:hitcnt}" }
add_tag => ["grok_match", "cisco_acl_message"]
remove_field => [ "message" ]
}
geoip {
source => "src"
target => "geoip"
add_tag => ["geoip"]
database => "/etc/logstash/GeoLiteCity.dat"
}
}
output {
elasticsearch {
host => localhost
index => [ "firewall-%{+YYYY.MM.DD}" ]
}
}
これはログ レコードの例です。
{
"_index": "firewall-2015.04.105",
"_type": "cisco",
"_id": "dJhGF6RtQuGXtlBTRCu2mQ",
"_score": null,
"_source": {
"@version": "1",
"@timestamp": "2015-04-15T21:06:08.357Z",
"type": "cisco",
"host": "172.17.10.1",
"num": "190",
"seq": "1872",
"date": "Apr 15 21:08:05.878",
"acl_ver": "20150223",
"protocol": "tcp",
"src": "94.102.51.96",
"sport": "26820",
"dest": "12.34.56.78",
"dport": "5900",
"hitcnt": "1",
"tags": [
"grok_match",
"cisco_acl_message",
"geoip",
"_grokparsefailure",
"geoip"
],
"geoip": {
"ip": "94.102.51.96",
"country_code2": "NL",
"country_code3": "NLD",
"country_name": "Netherlands",
"continent_code": "EU",
"region_name": "07",
"city_name": "Amsterdam",
"postal_code": "1000",
"latitude": 52.349999999999994,
"longitude": 4.916699999999992,
"timezone": "Europe/Amsterdam",
"real_region_name": "Noord-Holland",
"location": [
4.916699999999992,
52.349999999999994
],
"coordinates": [
4.916699999999992,
52.349999999999994
]
}
},
"fields": {
"@timestamp": [
1429131968357
]
},
"sort": [
1429131968357
]
}
私が見逃しているアイデアはありますか？
答え
アランが私に正しい方向を示した後、私はフィールドマッピングを見始めました. これが私がそれについて行った方法です：
最初にgeoipフィールド タイプを確認しました (私のインデックスは と呼ばれますfirewall*)
curl http://localhost:9200/firewall*/_mapping/cisco/field/geoip.location?pretty
これは次のように返されました：
{
"firewall-2015.04.107" : {
"mappings" : {
"cisco" : {
"geoip.location" : {
"full_name" : "geoip.location",
"mapping":{"location":{"type":"float"}}
}
}
}
}
}
floatタイル マップ ビジュアライゼーションを追加できない理由は、タイプの場所です。これを に変更する必要がありgeo_pointます。
掘り下げた後、locationタイプのマッピングを変更する1つの方法geo_pointは、出力テンプレートを使用することであることがわかりました。elasticsearch_templte.jsonデフォルトのファイルをコピーしました
/opt/logstash/lib/logstash/outputs/elasticsearch/elasticsearch-template.json
に
/etc/logstash/templates/elasticsearch-firewall.json
それを編集して、テンプレートをlogstash*to firewall*(またはインデックス名のパターンが何であれ)
"template" : "firewall*"に変更します。
logstash 構成ファイルを編集し、出力を次のように変更します。
output {
elasticsearch {
host => localhost
index => [ "firewall-%{+YYYY.MM.DD}" ]
template => "/etc/logstash/templates/elasticsearch-firewall.json"
template_name => "firewall"
}
}
firewall*インデックスを削除します。
警告: これにより、既存の検索可能なデータがすべて削除されます。このデータが重要な場合は、インデックスを削除せずにフィールド タイプを動的に変更する方法を見つける必要があります。Google検索でこれについての言及を見たので、それが可能であることを知っています。
curl -XDELETE http://localhost:9200/firewall*
この後、logstashとelasticsearchを再起動しました。
ログの受信を再開したら、マッピングを再度確認しました
curl http://localhost:9200/firewall*/_mapping/cisco/field/geoip.location?pretty
{
"firewall-2015.04.107" : {
"mappings" : {
"cisco" : {
"geoip.location" : {
"full_name" : "geoip.location",
"mapping":{"location":{"type":"geo_point"}}
}
}
}
}
}
現在の場所の種類を確認してくださいgeo_point:-)
これで、Tile Map ビジュアライゼーションを追加できます。