hadoop - Apache Apex は HDFS に依存していますか、それとも独自のファイル システムを持っていますか?

Question

Apache Apex が Hadoop と YARN で実行されることを理解しています。データ損失から保護するために、永続性とレプリケーションに HDFS を利用していますか? それとも独自のものを持っていますか？

Answer 1

Apache Apex は、耐障害性のためにオペレータ状態のチェックポイントを使用します。Apex は HDFS を使用して、リカバリ用のこれらのチェックポイントを書き込みます。ただし、チェックポイントのストアは構成可能です。Apex には、Apache Geode へのチェックポイントの実装もあります。また、Apex は HDFS を使用して、アプリケーションの起動に必要なアプリケーション jar、その依存関係、構成などを含むアプリケーション パッケージなどのアーティファクトをアップロードします。