問題タブ [apache-nifi]

私は NiFi を評価しており、基本的なワークフローを作成しました。ローカル ディレクトリをリッスンし、いくつかの変換を適用してから、フローを kafka に入れます。

エラートレース

私のワークフローは次のようになります

BasicFieldSplitProcessor は私のカスタム プロセッサで、ReplaceText の修正版です。

「フィールド分割キュー」の設定

• FlowFile 有効期限情報:120 秒
• バック プレッシャ オブジェクトのしきい値 Info:500000
• バック プレッシャ データ サイズのしきい値情報: 200 MB

Centos 7 で Apache NiFi 0.4.1 と Java 7 を使用しており、受信データに基づいてフロー ファイルを作成しようとしています。大量のデータを生成しているため、「OutOfMemoryError: Java heap space」例外が発生しています。

これは、私が知る限り、フロー ファイルへの書き込み時に NiFi によって提供される出力ストリームが ByteArrayOutputStream であり、データがメモリに格納されるためです。なぜこれが起こるのか理解できますが、GetFile/PutFile を使用してはるかに大きなファイルを処理できます (10Gb ファイルをロードし、その属性をログに記録し、別の場所に書き込んでみましたが、うまくいきました)。私がここに欠けているものはありますか？もっと大きなフローファイルを書く方法はありますか? または、NiFi 0.5.0 は私を助けるために何かを変更しますか?

注: 使用可能な Java ヒープ領域の量を増やしても問題が解決するとは思わない

Nifi 0.4.1 バージョンを使用しています。CSV を avro 形式に変換するカスタム コードを作成しています。クラスファイルを作成し、narファイルを生成できました。nar ファイルを lib ディレクトリに配置し、nifi サーバーを再起動しました。

クラス ファイルにエラーや警告はありません。

プロセッサを nifi 作業領域にドラッグすると、csv を avro に変換するために作成されたクラスが表示されません。

どんな助けでも感謝..

ありがとう、

CentOS システムで Apache NiFi を実行しようとしています。私はそれをダウンロードし、コマンドで実行しました：

結果は次のとおりです。

次に、次のコマンドで Apache NiFi のステータスを確認します。

結果は次のとおりです。

しかし、最後にブラウザでhttp://localhost:8090/nifiまたはhttp://localhost:8080/nifiにアクセスしようとすると、「接続できません」と表示されました。(競合を避けるために http ポートを 8090 に変更しましたが、それでも同じ問題が発生します)。助けてください、何が問題なのですか？

ここにある$NIFI_HOME/logs/nifi-app.log：

フローファイル コンテンツの JSON オブジェクトに属性/文字列を追加できるカスタム プロセッサを Apache NiFi で作成しようとしています。現時点では、文字列を使用するだけでは機能しますが、NiFi の式言語をコードでサポートしているにもかかわらず使用すると機能しません。

式言語は別のプロセッサで動作するため 100% 正しいです。また、別の属性を試して、それが属性ではないことを確認しました。

プロパティ:

コードの後半で、値を取得して、使用する JSON オブジェクトに入れたい場合:

単体テストも作成しましたが、testrunner.setProperty にテキスト値を割り当てると機能します。ただし、テストランナーに属性を割り当てる方法や、テストで式言語を使用する方法がわかりません。

提案や解決策をお寄せいただきありがとうございます。

Linux用のnifi-0.5.1をダウンロードしました。

次のコマンドを使用して Nifi を実行しようとすると、次のようになります。./nifi.sh run

で次の例外が発生しnifi-app.logます。

2016-03-13 05:29:42,959 WARN [main] org.apache.nifi.web.server.JettyServer Web サーバーの起動に失敗しました... シャットダウンしています。org.apache.nifi.web.NiFiCoreException: フロー コントローラーを開始できません。org.apache.nifi.web.contextlistener.ApplicationStartupContextListener.contextInitialized(ApplicationStartupContextListener.java:99) で ~[na:na] org.eclipse.jetty.server.handler.ContextHandler.callContextInitialized(ContextHandler.java:800) で ~[ jetty-server-9.2.11.v20150529.jar:9.2.11.v20150529] at org.eclipse.jetty.servlet.ServletContextHandler.callContextInitialized(ServletContextHandler.java:444) ~[jetty-servlet-9.2.11.v20150529.jar :9.2.11.v20150529] org.eclipse.jetty.server.handler.ContextHandler.startContext(ContextHandler.java:791) ~[jetty-server-9.2.11.v20150529.jar:9.2.11.

助けていただければ幸いです。

新しいアイテムで常に更新される Json ファイルがあります。Nifi を使用して、この 1 つの Json ファイルからコンテンツをライブ抽出し、たとえば CSV にできる出力ファイルを作成して、それを Excel で分析できるようにするフローを作成したいと考えています。私は Nifi を初めて使用するので、このイベントのプロセス フローを提案してもらえますか? 私を始めさせるものは何でも役に立ちます。