問題タブ [apache-nifi]

HbaseでNifiに取り組んでいます。これで、Gethbase プロセッサを使用して Hbase からデータを取得し、Nifi の Putfile プロセッサにデータを送信します。

nifi レシーバーを使用して Spark Streaming アプリケーションを作成しようとしています。チュートリアルによると、sbt の依存関係をビルド ファイルに追加しましたがsbt assembly、重複排除エラーで失敗しています。

私のbuild.sbtファイルは次のとおりです。

そして、私が得ているエラーは次のとおりです。

これを解決する方法を知っている人はいますか？

ありがとう、マルコ

私は Apache NiFi を使用してデータフローを構築していますが、現在扱っている実際のデータは区切り値で構成されています。私は ExecuteScript を使用したいと考えています。そのために、次のことを行う単純な Groovy スクリプトを作成しました。

1) 現在の区切り文字をパイプ (|) に置き換えます

2) \r\n と \tab を " " に置き換えます。

このスクリプトの理由は、次の問題を示すデータセットでデータのクリーニングとラングリングを行うことです。

\taba) テキスト (多くの場合長い) は、またはを介し​​て行をまたいでい\r\nます。これは完全な停止の前に発生する可能性がありますが、一貫していません。

b) 空白行 (現在、スクリプトはまだこれに触れていません)

1) は簡単に実行できましたが、2) のコードでは表とキャリッジ リターンが削除されていないようで、その理由がわかりません。コードは次のとおりです。

ご協力ありがとうございました。

私は NIFI の初心者です。私の使用例は、ポートから読み取り、寄木細工形式で hdfs に書き込むことです。私の調査によると、KiteSDK と呼ばれるものがあり、これを使用して Parquet 形式で保存できます。よろしいですか?アドバイスをお願いします。どんな例でも役に立ちます。

HandleHttpRequest を使用してプロセッサ NIFI にいくつかの HTTP 要求 (GET) を送信し、Topic Kafka に送信する jMeter を使用したバッチ テストがあります。

問題は、StandardHTTPContextMap が SERVICE_UNAVAILABLE エラーを返すことです。これは、データフローの速度が来歴記録速度を超えているときに発生するようですが、よくわかりません。

誰でも何か考えがありますか？部分ログをドロップします。

spark を使用して nifi から読み取り、寄木細工形式で hdfs に書き込むことができることは知っていますが、apache-nifi から直接寄木細工形式で HDFS に書き込む方法はありますか?.アドバイスしてください

ありがとうプラディープ

管理者ガイドで説明されているように、nifi.processor.scheduling.timeout は本当にデフォルトで無限に設定されていますか? コードを見ると、60 秒後にタイムアウトしているようです。起動 (リソースのロード) に少し時間がかかるプロセッサがあり、「OnScheduled の待機中にタイムアウトしました」というエラーが発生しています。起動時に失敗することがあり、その後も同じエラーで失敗し続ける理由を理解しようとしているだけです。

本当に奇妙です。すべてのプロセッサの電源を切り、インスタンスをバウンスしてプロセッサを個別に起動すると、問題が解消されるようです。ただし、それらがすべてオンの状態でインスタンスを再起動すると、エラーが発生します。

簡単に別のものになる可能性がありますが、起動シーケンスは機能しているようです。

NIFI管理者

NIFI プロセッサ コード

タイムアウトエラーが見つかったNIFI Githubのコードスニペット