問題タブ [morphline]

CDH4.4を使用しています。現在、avro を介して hbase の単一の列にレコードをシリアル化するアプリを実行しています。このテーブルの現在の solr インデックスを solrcloud に移動中なので、MapReduceIndexerTool をテストして、テーブル全体の一括インデックス作成を行います。現在、「extractHBaseCells」を使用して HBase からレコードを読み取る非常に単純な morphlines ファイルがあります。

これをトレーサーの概念実証として設定し、rowkey => id のインデックスを作成し、avro blob を別のフィールドに詰め込むだけで、HBase から SolrCloud のコレクションにデータを取得でき、それが機能することを確認しました。しかし、私は avro を解析し、それらの値を solrdocuments の独自のフィールドに貼り付けてから、solrcloud に送信したいと考えています。しかし、「extractHBaseCells」の性質がこれを妨げているようです。モーフラインの avro コマンドに流れ込む可能性のある、より一般的な出力を生成する hbase リーダー コマンドがあれば、私は自分の問題を解決できると確信しています。

HBase に格納されている avro を解析するための既知の回避策、またはこれに対処できるその他の morphlines コマンドはありますか?

単純な構造化された入力がリアルタイムで送信されます。しかし、どこかの「@」や16進文字のような値にもガベージがあります。

morphline Flume インターセプターを使用してデータを消去するにはどうすればよいですか?

ここでのシンクは hbase になります。

solr で avro データのインデックスを生成しています。インデックスは、ルート レベルにあり、ネストされていないデータ要素に対してのみ生成されます。以下はサンプル スキーマです (すべてを含むわけではありません)。

私のAvroスキーマは以下の通りです。

morphline 設定ファイルで「TransactionID」を参照するにはどうすればよいですか。すべてのオプションを試しましたが、ネストされたデータ要素のインデックスが生成されません。

以下は、私の morphline 設定ファイルのサンプルです。

Flume (1.6 & 1.7) の作業中に、以下のエラーが発生します。

私のエージェント パイプラインは、spooldir ソースから json データを取り込み、モルライン インターセプターを使用して抽出および変換するように設定されています。

以下のflume構成の抜粋を参照してください