問題タブ [apache-nifi]

それぞれのスキーマでデータに対して Avro を使用して Kafka Consumerを実行しようとすると、「AvroRuntimeException: Malformed data. Length is negative: -40」というエラーが返されます。バイト配列を json、Avro write および read、Kafka Avro Binary *coderに変換する同様の問題が他の人に見られます。また、このConsumer Group Exampleも参照しましたが、これはすべて役に立ちましたが、これまでのところこのエラーの助けにはなりません.コードのこの部分まで動作します(73行目)

デコーダー デコーダー = DecoderFactory.get().binaryDecoder(byteArrayInputStream, null);

私は他のデコーダーを試し、byteArrayInputStream 変数の内容を出力しました。これは、シリアル化された avro データがどのように見えると私が予想するかを示しています (メッセージでは、スキーマといくつかのデータといくつかの不正なデータを見ることができます)。 594 を返す .available() メソッドを使用して使用可能なバイト数。このエラーが発生する理由を理解できません。Apache Nifi を使用して、 hdfs から同じスキーマを持つ Kafka ストリームを生成します。助けていただければ幸いです。

Apache Nifi を使用して、Json ファイルを読み取り、内容が正しいかどうかを検証するために行ごとに分割するフローを作成しました。その後、2 つの出力があります。1 - 成功した行の場合と 2 - 失敗した行の場合で、出力は Json ファイルです。

今のところ、すべての行は別々のファイルに保存されていますが、私がやりたいのは、「良い」行を 1 つのファイルに保存し、「悪い」行を別のファイルに保存することです。

どのプロセッサーを使用すればよいですか?

Apache NiFi の組み込みプロセッサ「SplitJson」を使用して、JSON 配列を分割したいと考えています。以前に実行したことがあり、完全に機能しますが、json を分割するための正しい json パス式が見つからないようです。私が取得する JSON は、単に github からのものです。

https://api.github.com/events

各イベントを個別のフローファイルで取得したい。プロセッサの説明では、次のように述べています。

JSON/スカラー フラグメントに分割する配列要素を示す JsonPath 式。

分割したいルート配列なので、$ または @ を使用してみますが、うまくいきません。同様に*、または[*]その他の間違っていると思われるもの$.[*]などは機能しません。何も分割しない場合もあれば、配列が見つからないという単純なエラーが発生する場合もあります。

提案やヘルプをお寄せいただきありがとうございます。

プロジェクトの場合、REST API でデータを公開する (レガシー) ツールからデータを読み取る ETL プロセス (抽出変換ロード) を開発する必要があります。このデータは、Amazon S3 に保存する必要があります。

私はApache nifiでこれを試すのが本当に好きですが、正直なところ、REST APIに接続する方法、およびソースシステムと「正しいプロトコルを話す」ビジネスロジックをどこに/どのように実装できるかはまだわかりません. たとえば、これまでに書き込まれたデータを追跡して、残ったところから読み込みを再開できるようにしたいと考えています。

これまでのところ、私はnifiのドキュメントを読んでおり、ツールが提供する/必要とするものについてより良い洞察を得ています。ただし、nifi アーキテクチャ内でタスクをどのように実装できるかは明確ではありません。

うまくいけば、誰かが私にいくつかのガイダンスを与えることができますか?

ありがとう、ポール

次のようなjson配列があります

}, { "name": "ABCDEF", "details": { "code": null, "description": null, "range": { "fromSerialNo": "00061", "toSerialNo": "00173" } } ] }

出力を { "name": "ABCDEF", "details": { "code": null, "description": null, "range": { "fromSerialNo": "00001", "toSerialNo": " 99999"

しかし、問題は、nifi 式言語を受け入れないため、変数を Eva​​luateJsonPath に入れることができないことです。すべての値をループしてから、最終的な範囲を取得する必要があります。これがnifiでできるかどうかは誰にもわかりません。

Apache Nifi ExecuteSQL プロセッサでプロシージャ コールを使用する方法 (in パラメータと out パラメータの両方を使用)、特に out パラメータについて説明します。

NiFi プロセッサを使用して Facebook のデータを hdfs にフェッチする方法はありますか? このケースに関して、これまでのところ単一のソースまたはサンプルも見つかりませんでした...可能であれば? 手続きはどうなりますか？

API から気象データにアクセスしていて、Apache nifi を使用して、最初の API によって返された json 配列内のすべての都市の気象データを取得したいですか?

基本的に、2 つの API を介してデータにアクセスしています。

この API は、JSON 配列要素に米国内のすべての都市のリストを含む JSON 配列を返します。

ここで、この配列を反復処理し、州と都市の情報を使用して、以下のような別の API で使用したいと考えています。

したがって、基本的には、最初の API から取得する州と都市のすべての組み合わせに対して、2 番目の API をループで実行する必要があります。

これまでに作成した基本的な NiFi フローは、この質問に添付されているとおりですが、機能していません。誰かが私がここで間違っていることを理解するのを手伝ってもらえますか?

HDP 2.4 サンドボックスでの Hortonworks Dataflow

SplitJson プロセッサの構成