apache-spark - チェックポイントに使用できるファイル システム

Question

ドキュメントには、Hadoop API と互換性のあるファイル システム ( HDFS 、 S3 など) をチェックポイント ディレクトリとして使用できることが記載されています。

私の質問は、HDFS と S3 以外に、Kafka と Cassandra を使用した Spark ストリーミング アプリケーションの実用的な代替手段は何かということです。

ありがとう

Answer 1

Gluster、GFS、Lustreなどの任意のタイプの分散ファイル システムを使用できますが、基盤となるファイル システムで使用されるプロトコルが Spark API でサポートされている必要があります。