問題タブ [hortonworks-sandbox]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop クラスパス fin HDP2.5 サンドボックスにある JAR を特定するにはどうすればよいですか?
Hadoop クラスパスに含まれる JAR を特定するにはどうすればよいですか? Hortonworks 2.5 サンドボックスを使用しており、既存の im サンドボックス Hadoop JAR を使用してカスタム アプリケーションを実行したい
hadoop - Nifi を使用して HDFS にデータを取り込む - ファイルにアクセスできない
だから、私は初めてNiFiを使用しています。それを使用して API を呼び出し、データを HDFS (Hortonworks Sandbox 2.4) にパイプしようとしています。現在、GetHTTP と PutHDFS の 2 つのプロセッサしか使用していません。
両方のプロセッサが正常に構成されているようです...それらは実行されますが、Ambari を介して Hadoop にアクセスしたときに作成された出力ファイルが見つかりません...出力ディレクトリを /user/ に設定しました。しかし、何も表示されません。ただし、PutHDFS プロセッサに関する警告メッセージが表示されます。
...そのため、ファイルはどこかに書き込まれている必要があります。xml 形式と JSON 形式の両方を指定して API 呼び出しを変えてみましたが、明らかな違いはありません。
NiFi のパイプラインに何らかの処理を追加する必要があるか、サンドボックスの間違った場所を探しているかのどちらかだと思います。誰でもアドバイスできますか？
json - Nifi を使用して、取り込まれた json データを構造化する可能性
Nifi を使用して、json ファイルを構造化テーブルにロードすることは可能ですか?
次の天気予報データ (6000 の気象観測所から) を呼び出しました。現在、HDFS に読み込んでいます。すべてが 1 行に表示されます。
理想的には、スキーマを 6000 行のテーブルに構造化する必要があります。
上記を Pig に渡すスキーマを作成しようとしましたが、うまくいきませんでした。おそらく、これを正しく変換できるほど json に精通していないためです。
データに何らかの構造を追加する簡単な方法を探していると、Nifi に PutHBaseJson プロセッサがあることがわかりました。
この PutHBaseJson プロセッサが上記のデータ構造で動作するかどうか、誰にもアドバイスできますか? もしそうなら、誰かが私に構成の出発点を与えるためのまともなチュートリアルを教えてもらえますか?
ご指導をよろしくお願いいたします。