Elasticsearch でデータをインデックス化するために、Logstash のソースとして TMX ファイル (翻訳データの xml ファイル) を使用しています。
サンプルの TMX ファイルは次のようになります。
<?xml version="1.0" encoding="UTF-8"?>
<tmx version="1.4">
<header creationtool="ModernMT - modernmt.eu" creationtoolversion="1.0" datatype="plaintext" o-tmf="ModernMT" segtype="sentence" adminlang="en-us" srclang="en-GB"/>
<body>
<tu srclang="en-GB" datatype="plaintext" creationdate="20121019T114713Z">
<tuv xml:lang="en-GB">
<seg>The purpose of the standard is to establish and define the requirements for the provision of quality services by translation service providers.</seg>
</tuv>
<tuv xml:lang="it">
<seg>L'obiettivo dello standard è stabilire e definire i requisiti affinché i fornitori di servizi di traduzione garantiscano servizi di qualità.</seg>
</tuv>
</tu>
<tu srclang="en-GB" datatype="plaintext" creationdate="20111223T112746Z">
<tuv xml:lang="en-GB">
<seg>With 1,800 experienced and qualified resources translating regularly into over 200 language combinations, you can count on us for high quality professional translation services.</seg>
</tuv>
<tuv xml:lang="it">
<seg>Abbiamo 1.800 professionisti esperti e qualificati che traducono regolarmente in oltre 200 combinazioni linguistiche; perciò, se cercate la qualità, potete contare su di noi.</seg>
</tuv>
</tu>
<tu srclang="en-GB" datatype="plaintext" creationdate="20111223T112746Z">
<tuv xml:lang="en-GB">
<seg>Access our section of useful links</seg>
</tuv>
<tuv xml:lang="it">
<seg>Da qui potrete accedere a una sezione che propone link a siti che possono essere di vostro interesse</seg>
</tuv>
</tu>
ここで行う必要があるのは、各<tu>ブロックにイベントとしてアクセスすることです。ここでは、<tuv>内部の 2 つのブロックがデータ フィールドとして使用されます。最初のtuvブロックに格納されたデータは、ソース言語データ フィールドとして ES でインデックス付けされ、2 番目のtuvブロックに格納されたデータはターゲット言語データ フィールドです。
TMX ドキュメントには、10000 を超えるtuvブロックを含めることができます。
xml フィルターの使用に問題があり、現在は次のようになっています。
input {
file {
path => "/en-gb_pt-pt/81384/81384.xml"
start_position => "beginning"
codec => multiline {
pattern => "<tu>"
negate => "true"
what => "previous"
}
}
}
filter {
xml {
source => "message"
target => "xml_content"
xpath => [ "//seg", "seg" ]
}
}
output {
stdout {
#codec => json
codec => rubydebug
}
}
これが私の索引テンプレートの一部です。
"segment": {
"_parent": {
"type": "tm"
},
"_routing": {
"required": "true"
},
"properties": {
"@timestamp": {
"type": "date",
"format": "strict_date_optional_time||epoch_millis"
},
"@version": {
"type": "string"
},
"source": {
"type": "string",
"store": "true",
"fields": {
"length": {
"type": "token_count",
"analyzer": "standard"
}
}
},
"target": {
"type": "string",
"store": "true",
"fields": {
"length": {
"type": "token_count",
"analyzer": "standard"
}
}
}
}
}