問題タブ [apache-nifi]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - Kafka は、NiFi 内で大きなファイル (30 MB 以上) を取り込めません
私は Apache NiFi を使用しています。Kafka に約 30 MB のテキスト ファイルを取得させようとすると、エラーが発生せずに、PutKafka プロセッサが GetFile プロセッサから送信されたデータの取得を拒否します。
ファイルを PutKafka プロセッサに渡そうとすると、次のようになります。
PutKafka プロセッサ内のいくつかの値を変更しようとしましたが、役に立ちませんでした。これと同じセットアップは、非常に小さなテキスト ファイルを送信するときに成功しましたが、パイプで区切られていませんでした。
ありがとう
apache-nifi - Apache Nifi ExecuteSQL プロセッサ
ExecuteSQL プロセッサを使用して Oracle データベースからデータをフェッチしようとしています。Oracle データベースに 15 のレコードがあると仮定するクエリがあります。ここで ExecuteSQL プロセッサを実行すると、ストリーミング プロセスとして継続的に実行され、レコード全体が次のように保存されます。 HDFS の単一のファイルで、繰り返し同じことを行います。したがって、Oracle db からすでにフェッチされたレコードをフェッチする hdfs の場所に多くのファイルがあり、これらのファイルには同じデータが含まれています。このプロセッサをそのような環境で実行するにはどうすればよいですかOracle dbからすべてのデータを一度フェッチして単一のファイルとして保存する必要があり、新しいレコードがdbに挿入されるたびに、それらをhdfsの場所に取り込む必要がありますか?
json - Apache-Nifi の PutHBaseJSon プロセッサ
hdfsの場所からデータを取得してhbaseに入れるPutHBaseJSonプロセッサを使用しています.hdfsの場所にあるデータは以下のような形式で、これは単一のファイルです。
PutHBaseJSon プロセッサを実行すると、最初の行のみがフェッチされ、作成した hbase テーブルに配置されます。このプロセッサを使用して、そのファイルに存在するすべての行を取得することはできませんか? または単一のファイルからすべてのレコードをhbaseに取得する方法は?
apache-nifi - NIFIのユースケース
Nifi とその機能、およびその適切な使用例について質問があります。
Nifi は、フローベースの処理を可能にするスペースを作成することを実際に目指していると読みました。Nifi を少しいじってみると、Nifi には自分にとって便利な方法でデータをモデル化/整形する機能があることにも気づきました。Nifi はデータ モデリングにも使用できると言っても過言ではありませんか?
ありがとう！
web-services - HBase、KNOX、NiFi を使用した REST Web サービス
Hortonworks を使用しており、REST Web サービスをセットアップしたいと考えています。データは HBase に保存されており、KNOX と Ranger で保護したいと考えています。NiFi で構成できるかどうかわからないので、REST API を呼び出して HBase (Hive を使用) からデータを取得できます。重要なのは、接続が KNOX で保護されていることと、データ セキュリティに Ranger を使用できることです。
- NiFiを使用できますか？
- ユースケースに適合する最適なソリューション/アーキテクチャは何ですか?
また、関連する高度な情報をいくつか追加していただければ、この件についてさらに深く掘り下げることができます。
よろしくお願いします n3
maven-3 - Apache Nifi のビルド - SNMP nar がありません
https://nifi.apache.org/quickstart.htmlの指示に従って、Windows マシンでローカルに Apache Nifi をビルドしようとしています。
次の問題が発生します。
プロジェクト nifi-snmp-nar で目標を実行できませんでした: プロジェクト org.apache.nifi:nifi-snmp-nar:nar:0.7.0-SNAPSHOT の依存関係を解決できませんでした: アーティファクト org.apache.nifi:nifi- が見つかりませんでしたsnmp-processors:jar:1.0.0-SNAPSHOT in apache.snapshots ( http://repository.apache.org/snapshots ) -> [ヘルプ 1] 誰かが同じことに遭遇しましたか?これを回避する方法はありますか? ?
apache-nifi - Apache NiFi を使用して CSV ファイルを JSON に変換する
ローカル ファイル システムから csv を読み取り、Apache Nifi を使用してコンテンツを JSON 形式に変換し、JSON 形式のファイルをローカル システムに配置しようとしています。csv ファイルの最初の行は変換できましたが、他の行は変換できませんでした。私は何が欠けていますか？
入力：
1,aaa,loc1
2,bbb,loc2
3,ccc,loc3
私のnifiワークフローは次のとおりです： http://www.filedropper.com/mycsvtojson
私の出力は次のとおりですが、これは望ましい形式ですが、すべての行でそれを実現したいと考えています。
{ "id" : "1", "name" : "aaa",
"location" : "loc1" }
deployment - Apache NiFi の開発ライフサイクル
NiFi のドキュメントで定義されているように、「継続的な改善は本番環境で行われる」ことを認識しています。したがって、これは従来の開発ツールとして使用するのには適していません。ただし、私が取り組んでいるプロジェクトでは、これが使用されるツールであることが決定されているため、いくつかの問題があることがわかっているため、これのメリットについては議論したくありません.
たとえば、既存の環境 (ステージングから本番環境) に変更をプッシュし、宛先にライブ編集があった場合、それらは上書きされます。そこで、開発ライフサイクルをどのように体系化するかについて質問があります。
- 複数の開発者が並行して行った変更をマージ (エクスポートされた xml テンプレート ファイルをマージ) することはできますか? 重要な変更をマージするのは難しいと思いますが、試したことはありません。
- バージョン管理の変更を管理する方法 構成全体をテンプレートとしてエクスポートし、それをバージョン管理にチェックインできると思いますか?
- フローを別のサーバーにデプロイする方法は? ストック NiFi デプロイメントをデプロイしてから、NiFi REST API を使用して、エクスポートしたテンプレートから (上記のように) 更新することはできますか?
- 構成が異なる可能性がある別の環境への展開を管理する方法は? テンプレート XML ファイルを更新する必要がありますか? または、Zookeeper などから動的に取得できますか?