問題タブ [apache-nifi]

私の特定のケースでは、NiFi での ReplaceTextWithMapping の使用法を明確にする必要があります。私の入力ファイルは次のようになります。

代わりに、マッピング ファイルは次のようになります。

私の予想される結果は次のようになります。

正規表現セットは単純に次のとおりです。

マッピングファイルのフィールドキーと一致します（大文字または大文字+数字のいずれかが必要です）が、割り当てたい値（col 2またはcol3から）をどのように決定したかわかりませんに値を入力します。また、私の field2 は変更されるべきではなく、マッピングを伴わずに、入力値から取得したのと同じ値を保持する必要があります。現時点では、次のようなものを取得しています。

私の主な質問は、入力ファイルの同じ値を、マッピングファイルの異なる列からの異なる値にマップできますか?

ありがとうございました

編集: Apache NiFi (v. 0.5.1) のすぐに使えるプロセッサであるReplaceTextWithMappingを使用しています。データフロー全体を通して、(たとえば ExtractText を使用して解析するのではなく) メモリにロードしたい外部ファイルからのマッピングを適用する必要がある Json ファイルができあがります。

私はApache Nifiを使用していますが、私のフローファイルの 1 つは、わずかに不正な形式の Json です。

以前に適用された変換をジャグリングする代わりに、Groovy スクリプトをExecuteScriptの一部として使用したいと考えています。これは私が現時点で持っているものです：

ただし、次のエラーが返されます。

...^

私は明らかに間違ったことをしていますか？ご協力ありがとうございました。

Apache Nifi を使い始めたところです。Oracle からデータを取得して HDFS に配置し、その上に外部ハイブ テーブルを構築しようとしています。問題は、ExecuteSQL プロセッサが avro 形式でデータを返すことです。とにかく、このデータを読み取り可能な形式で取得できますか?

どうすれば次のことができますか？

私がやりたいことは、Stanford NLP ONCE をロードしてから、HTTP または他のエンドポイントを介して対話することです。その理由は、ロードに時間がかかり、すべての文字列を分析するためにロードすることは論外です。

たとえば、jar をロードする単純な C# プログラムでのスタンフォード NLP のロードは次のとおりです。

これは30秒以上です。これらすべてを毎回ロードする必要がある場合は、そうです。私が Java でやりたいことを示すために、C# で動作する例を書きました。この完全な例は、いつか誰かを助けるかもしれません:

そのため、読み込みには 30 秒かかりますが、コンソールで文字列を指定するたびに、その文字列を解析してトークン化するのにほんの一瞬しかかかりません。

while ループの前に jar ファイルをロードしたことがわかります。

これは、ソケット サービス、HTML、またはリクエストを (文字列の形式で) 受け入れ、解析を吐き出す何かになる可能性があります。

私の最終的な目標は、解析対象の文字列を送信できるプロセッサを介して Nifi のメカニズムを使用し、従来の Web サーバーのスレッド化された例 (たとえば) を使用すると 30 秒以上かかるのに対し、1 秒未満で返されるようにすることです。すべてのリクエストは、すべてを 30 秒間ロードしてから、仕事に取り掛かります。これを明確にしたことを願っています！

これを行う方法？

簡単なデータフローをデプロイしました: HandleHttpRequest- PutKafka- HandleHttpResponse.

NIFI は「転送関係が指定されていません」というエラーをスローしますが、常にではありません。誰かが理由を理解するのを手伝ってくれますか?

エラー情報は次のとおりです。

エラーの画像は次のとおりです。

どうもありがとう。

Apache Nifi を使用しているときに問題に直面しています。手動で停止するまで繰り返しフェッチするのではなく、テーブル内のすべてのデータのフェッチが完了したら、ExecuteSQL プロセッサを停止する方法はありますか?

Apache Nifi のフローの合計実行時間を確認/キャプチャする方法を知りたいです。それを実行して属性リストに追加し、PutEmail で共有できるようにする方法はありますか?

ORACLE DB からデータを取得していて、(convertAvroToJson と putHbaseJSON) を使用せずに hbase に保存したい

オラクルから、次のような 4 つの属性を取得しています: a: テキスト b: テキスト c: テキスト d: バイナリ

これらの属性をavroファイルから直接保存する方法はありますか

注: JSON を使用できない唯一の理由は、(" または ') を含む可能性がある BINARY 属性です。

ありがとうございました。