問題タブ [apache-nifi]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
bash - Apache NiFi の ExecuteProcess で sed を実行するにはどうすればよいですか
GeoJSON に変換し、elasticsearchをクリーンアップするためにogr2ogr実行する csv ログ ファイルがあります。sed具体的には：
これらのコマンドを NiFi で実行したいのですが、ExecuteProcess を構成できませんでした。
java-8 - Nifi プロセッサのバッチ挿入 - 処理の失敗
現在、ElasticSearch Nifi プロセッサを作成中です。ES への個別の挿入/書き込みは最適ではなく、ドキュメントのバッチ処理が推奨されます。Nifi プロセッサ内でドキュメント (FlowFiles) を追跡 (バッチ) するための最適なアプローチと考えられるものは何ですか? 私が最も懸念しているのは、ES が利用できない、ダウンしている、ネットワークが分断されているなどの理由でバッチが成功しない場合です。質問の主なポイントは、Nifi にはキューイング/バックプレッシャーなどのためのコンテンツ ストレージがあることです。宛先がダウンした場合に FlowFiles が失われないようにするために、それを使用するための推奨される方法はありますか? 例として、別のプロセッサを検討する必要がありますか?
Mongo プロセッサ、Merge などを調べて、プロセッサ内でバッチ処理を行うための推奨されるアプローチを試してみましたが、具体的なものを見つけることができないようです。任意の提案をいただければ幸いです。
Nifi に組み込まれているいくつかの基本的な機能を見落としている可能性があります。私はまだプラットフォームにかなり慣れていません。
ありがとう！
scala - Java 依存関係を Scala プロジェクトの sbt ファイルに追加する方法
Apache NiFi レシーバーを使用する Spark ストリーミング Scala プロジェクトがあります。プロジェクトは Eclipse/Scala IDE で正常に動作するので、今すぐ展開用にパッケージ化したいと考えています。として追加すると
sbt はそれが Scala ライブラリであると想定し、それを解決しようとします。
NiFi レシーバーとそのすべての依存関係をプロジェクトの SBT ファイルに追加するにはどうすればよいですか?
また、sbt が解決しようとする代わりに、依存関係をローカル ディレクトリにピントすることは可能ですか?
前もって感謝します。
これが私のsbtファイルの内容です：
elasticsearch - Elasticsearch: ツイートのインデックス作成 - マッピング、テンプレート、または ETL
Apache NiFi からのツイートを Elasticsearch に POST としてインデックス付けしようとしており、次のことを行いたいと考えています。
フィールド
create_atを日付にします。これにはマッピングまたはインデックス テンプレートを使用する必要がありますか?一部のフィールドを分析しないようにします。ハッシュタグやURLなど。
ツイート全体ではなく、いくつかの重要なフィールドを保存したい。テキストと同様に、すべてのユーザー情報ではなく、一部のフィールド、ハッシュタグ、エンティティからの URL (投稿 URL 内)。引用元はいらない。この場合、何を使用すればよいですか？テンプレート？必要なデータを抽出して ES にインデックスを付けるために、ETL プロセスでツイートを前処理しますか?
私は少し混乱しています。アドバイスをいただければ幸いです。
前もって感謝します。
apache-nifi - Apache NIFi MergeContent プロセッサ - 境界線を改行として設定
MergeContent プロセッサを使用してツイートをマージし、Elasticsearch インデックスに一括挿入したいと考えています。このためには、コマンドとツイート (それぞれ) を \n で区切る必要があります。これは、それがどのように見えるべきかです
どっちが
\n をセパレーターとして配置すると、プロセッサは実際には \n を改行セパレーターの代わりに文字列として追加します。実際の改行にすることは可能ですか？また、フッターを空のままにしたり、空にしたりすることは可能ですか?
前もって感謝します。
apache-nifi - OkHttp を 2.5 から 2.6 にアップグレードすると、HTTPS テストが中断される
Apache NiFi の OkHttp バージョンを 2.5 から 2.6 に更新する作業を行っています。これを行うと、すべての HTTPS テストが次の例外で失敗します。
テストでは、接続先のホストとして Jetty サーバーのラッパーを使用します。トラストストアとキーストアは、ホストとクライアントで同じです。何らかの理由で、2.5 から 2.6 への変更により、サーバーが早期に終了します。
私が変更しているのは、Maven の OkHttp バージョンを 2.5 から 2.6 に変更したことだけです。テストクラスはこちらです (実装は TestInvokeHttpCommon にあります): https://github.com/apache/nifi/blob/8c2323dc8d0e107f1a99898370c7515fa9603122/nifi-nar-bundles/nifi-standard-bundle/nifi-standard-processors/src/test/ java/org/apache/nifi/processors/standard/TestInvokeHttpSSL.java
process-management - 呼び出し間でプロセッサの状態を保持するメカニズムはありますか
呼び出し間でプロセッサの状態を保持/保存するメカニズムはありますか? 特に、プロセッサや NiFi 自体が再起動された場合でも、プロセスが最後にいつ実行されたかを知る信頼できるメカニズムが必要です。
(hBase やファイル システムなどの回答はしないでください。NiFi が提供するもの、または NiFi が提供するサービスで構築できるものを探しています)