2

指示に従って Tachyon と Spark をインストールしました。

http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html

しかし、初心者として、彼らが言ったように、ファイル「X」をTachyonファイルシステムに入れる方法がわかりません：

$ ./spark-shell
$ val s = sc.textFile("tachyon-ft://stanbyHost:19998/X")
$ s.count()
$ s.saveAsTextFile("tachyon-ft://activeHost:19998/Y")

私がしたことは、既存のファイル (管理 UI で見つけたもの) を指すことでした。

scala> val s = sc.textFile("tachyon-ft://localhost:19998/root/default_tests_files/BasicFile_THROUGH")
s: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21

count を実行すると、以下のエラーが発生しました。

scala> s.count()
java.lang.NullPointerException: connectionString cannot be null

パスが間違っていたと思います。2つの質問：

  1. ファイルを Tachyon にコピーする方法は?

  2. その FS の適切なパスは何ですか?

すみません、とても初心者です!!

更新 1

tachyon-ft://localhost:19998/root/default_tests_files/BasicFile_THROUGH正しいパスかどうかはわかりません。ブラウザ経由でも取得できませんwget

これは私がファイルシステムブラウザで見たものです

ここに画像の説明を入力

4

1 に答える 1

2

私は問題を見つけました。私はこれをしませんでした

sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")

この演習http://ampcamp.berkeley.edu/5/exercises/tachyon.html#run-spark-on-tachyonを行った後、適切なパスは次のとおりであることがわかりました。

val file = sc.textFile("tachyon://localhost:19998/LICENSE")

結局、私のセットアップは問題ありませんでした。http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.htmlのドキュメントは、私に多くの混乱を引き起こしました。

于 2015-10-12T21:19:22.333 に答える