2

Elastic search バージョン 1.2.0、Jdbc river バージョン 1.2.0.1 を使用しています。

以下は私のJdbcリバーコマンドです。

curl -XPUT 'localhost:9200/_river/tbl_messages/_meta' -d '{
    "type" : "jdbc",
    "jdbc" : {
    "strategy" : "simple",
    "url" : "jdbc:mysql://localhost:3306/messageDB",
    "user" : "username",
    "password" : "password",
    "sql" : "select messageAlias.id as _id,messageAlias.subject as subject from tbl_messages messageAlias",
    "index" : "MessageDb",
    "type" : "tbl_messages", 
    "maxbulkactions":1000,
    "maxconcurrentbulkactions" : 4,
    "autocommit" : true,
    "schedule" : "0 0-59 0-23 ? * *"    
    }
}'

件名列のインデックス メタデータ

subject: {
    type: string
}

このテーブルには 200 万件のレコードがあり、件名フィールドには任意の文字列が含まれています。いくつかのサンプル データは、「招待されました」、「{New York:45} We rock!!」、「{Invitation:27}」などです。

私の問題は、jdbc リバーが {anything inside of this} を含む 1 つのレコードに遭遇すると、リバーを失速させ、解析例外をスローすることです。次のレコードのインデックスに移動することはありません。

org.elasticsearch.index.mapper.MapperParsingException: failed to parse [subject]
at org.elasticsearch.index.mapper.core.AbstractFieldMapper.parse(AbstractFieldMapper.java:418)
at org.elasticsearch.index.mapper.object.ObjectMapper.serializeObject(ObjectMapper.java:537)
at org.elasticsearch.index.mapper.object.ObjectMapper.parse(ObjectMapper.java:479)
at org.elasticsearch.index.mapper.DocumentMapper.parse(DocumentMapper.java:515)
at org.elasticsearch.index.mapper.DocumentMapper.parse(DocumentMapper.java:462)
at org.elasticsearch.index.shard.service.InternalIndexShard.prepareIndex(InternalIndexShard.java:394)
at org.elasticsearch.action.bulk.TransportShardBulkAction.shardIndexOperation(TransportShardBulkAction.java:413)
at org.elasticsearch.action.bulk.TransportShardBulkAction.shardOperationOnPrimary(TransportShardBulkAction.java:155)
at org.elasticsearch.action.support.replication.TransportShardReplicationOperationAction$AsyncShardOperationAction.performOnPrimary(TransportShardReplicationOperationAction.java:534)
at org.elasticsearch.action.support.replication.TransportShardReplicationOperationAction$AsyncShardOperationAction$1.run(TransportShardReplicationOperationAction.java:433)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

Caused by: org.elasticsearch.ElasticsearchIllegalArgumentException: unknown property [Inivitation]
at org.elasticsearch.index.mapper.core.StringFieldMapper.parseCreateFieldForString(StringFieldMapper.java:332)
at org.elasticsearch.index.mapper.core.StringFieldMapper.parseCreateField(StringFieldMapper.java:278)
at org.elasticsearch.index.mapper.core.AbstractFieldMapper.parse(AbstractFieldMapper.java:408)
... 12 more

db でこのレコードを削除し、ES_HOME/data 内のデータをクリアして、リバーを再作成することが、上記のフォーマットされたレコードに再度遭遇するまで続行する唯一の方法のようです。

いくつかのレコードを解析するときに、例外に関係なくインデックス作成を続行するにはどうすればよいですか?

4

1 に答える 1

0

これはリバーではなくエラスティック検索に関連しています。

https://github.com/jprante/elasticsearch-river-jdbc/issues/258

https://github.com/elasticsearch/elasticsearch/issues/2898

于 2014-08-14T03:30:40.990 に答える