Apache Spark を使用してアプリケーションを構築しています。RDD を他のアプリケーションから利用できるようにするために、次の 2 つの方法を試しています。
- タキオンの使用
- spark-jobserver の使用
私はタキオンが初めてです。「クラスターでの Tachyon の実行」に記載されている次のタスクを完了しました。
master:19999
URLから UI にアクセスできます。
tachyonディレクトリからディレクトリを正常に作成しました./bin/tachyon tfs mkdir /Test
が、copyFromLocal コマンドを実行しようとすると、次のエラーが発生します。
FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)