問題タブ [apache-falcon]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop エコシステムにおける Falcon の役割
クラスター ミラーリングに取り組むことになっています。そこでは、既存のクラスターと同様の HDFS クラスター (同じマスターとスレーブ) をセットアップし、データを新しいクラスターにコピーしてから、同じジョブをそのまま実行する必要があります。
フィード処理およびワークフロー調整ツールとしての falcon について読んだことがありますが、HDFS クラスターのミラーリングにも使用されています。Hadoop エコシステムにおける Falcon の役割と、特にミラーリングにどのように役立つかについて教えてください。私は、Hadoop エコシステム (HDP) の一部であるすべての facon が提供するものを理解するために、ここを見ています。
hadoop - ファルコン vs ワンディスコ ノンストップ
ユースケース: HDFS クラスターからマスターとスレーブの同じセットアップを使用して別のクラスターにすべてのデータをコピーする必要があり、以前のクラスターを解放して、新しいクラスターでジョブの実行を開始します。
このミラーリングに役立つ Apache Falcon と Wandisco のノンストップ Hadoop について読んだことがあります。しかし、エコシステムの一部としてそれらを持っている場合、それらが提供する他の利点についてはわかりません (どちらがより有利でしょうか? - ユースケースによって異なりますが、特にあるかどうかを知りたいです)。あなたの経験に応じて、Falcon と Wandisco の類推を提供できますか?
hadoop - Oozie エラー コード: E1100 & ERROR、理由: メイン クラス [org.apache.oozie.action.hadoop.ShellMain]、終了コード [1]
こんにちは、この例のHadoop データ パイプラインを実行しようとしています ...ここでは、Flume がローカルから HDFS にファイルをコピーする Flume エージェントを実行しています。Falcon はデータ ファイルを処理し、データが処理された後、Hive 処理系統が利用可能になります。 Apache Atlas で...しかし、Oozie Web UI で見られるように、Oozie ジョブは失敗しています...Oozie & Falcon のログと Oozie のログを調べましたが、エラーの主な理由はわかりませんが、次の 2 つのエラーが表示されます: Oozie エラー コード: E1100 & ERROR、理由: メイン クラス [org.apache.oozie.action.hadoop.ShellMain]、終了コード1 ..この問題を解決する解決策が見つかりません。 ...このエラーの根本的な原因は何ですか?? ありがとうございました
hortonworks-data-platform - falcon プロセスをスケジュールできません - 認証操作を実行できませんでした、java.io.IOException: IO ストリームをセットアップできませんでした
こんにちは、Kerberized クラスターで falcon CLI と falcon サービス ユーザーを使用して falcon プロセスをスケジュールしようとしています。次のエラー メッセージが表示されます。
Falcon アプリのログには次のように表示されます。
助言がありますか？ありがとう。