Apache NiFi からのツイートを Elasticsearch に POST としてインデックス付けしようとしており、次のことを行いたいと考えています。

1. フィールドcreate_atを日付にします。これにはマッピングまたはインデックス テンプレートを使用する必要がありますか?

2. 一部のフィールドを分析しないようにします。ハッシュタグやURLなど。

3. ツイート全体ではなく、いくつかの重要なフィールドを保存したい。テキストと同様に、すべてのユーザー情報ではなく、一部のフィールド、ハッシュタグ、エンティティからの URL (投稿 URL 内)。引用元はいらない。この場合、何を使用すればよいですか？テンプレート？必要なデータを抽出して ES にインデックスを付けるために、ETL プロセスでツイートを前処理しますか?

私は少し混乱しています。アドバイスをいただければ幸いです。

前もって感謝します。

yyyy-MM-dd HH:mm:ssElasticsearch にフォーマット内の文字列を日付フィールドとして認識させようとしています。動的な日付形式を作成し、それをデフォルトのマッピングに適用しました。最初のタイプのドキュメントにインデックスを付けると、うまく機能します。データがこの形式である新しいフィールドはすべて、日付フィールドとして初期化されます。

問題は、新しいタイプのドキュメントを作成しようとしたときに発生しますが、最初のタイプと同じ名前の日付形式フィールドがあります。これらは不正な日付エラーで失敗します。

デモ用の Kibana コマンドのセットの例を次に示します。

最後のコマンドで次のエラーが発生します。 "Invalid format: \"2015-01-01 12:00:00\" is malformed at \" 12:00:00\""

異なる型の同じ名前のフィールドは同じデータ型でなければならないことはわかっていますが、この場合は同じデータ型 (日付) にする必要があります。新しいタイプごとに手動でマッピングを作成することもできますが、ソース データに追加された新しいタイプを自動的にサポートするようにしたいと考えています。動的な日付形式が行うべきことのようです。ここで何か間違ったことをしていますか？

このようなメッセージをelasticsearchにプッシュしようとしています

そのため、各メッセージにはid文字列であるlistフィールドと、文字列値のリストを含むフィールドがあります

これをエラスティックにプッシュしてキバナでチャートを作成しようとすると、デフォルトのアナライザーが作動listしてスペース文字で分割されます。したがって、それは私の価値観を壊します。としてインデックスのマッピングを作成しようとしました

これにより、定義したマッピングでインデックスが作成されます。今、私は単にメッセージをプッシュします

でも今でもキバナは私の価値観を壊してくれます！マッピングが適用されなかったのはなぜですか?

そして私がするとき

私は得る

なぜマッピングが変更されたのですか？マッピング タイプを指定する方法

このブログをフォローして、オートコンプリート機能を実装しています。正確なマッピングを作成しようとしましたが、エラーが発生しました。

以下は、私の意図したマッピングクエリです。

以下は私が得ているエラーです:-

私は ES の最新バージョン、つまり 2.3 を使用しています。これは 2 年前に書かれたものです。ESの勉強を始めたばかりです。これに対する可能な解決策は何ですか？

私のマッピング:

私のクラス:

と

インデックスを作成しようとすると、次のエラーが表示されます

java.lang.IllegalArgumentException: 無効な形式: "1461223048000" は "8000" で不正な形式です

マッピングからフォーマットを削除すると、strict_date_optional_time ||がかかります。フォーマットのデフォルトはepoch_millisですが、私はそれを望んでいません。

ここで何が間違っていますか?どうすれば解決できますか?

更新 1

マッピングを次のように変更すると:

そして私のクラスは：

それは機能しますが、 ||なしで行うことを好みます epoch_millis . それを取り除く方法はありますか？