scala - SparkContext textFile の InputPath 構文

Question

SparkContextで入力パスを指定する方法を教えてtextFile()ください。以下のように、私にはうまくいきません。

sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")

ここで、54310 は で指定されたポート番号です。core-site.xml

Answer 1

単純なエラーです。Spark Context にロードするファイルには拡張子が必要です

sc.textFile(hdfs://localhost:54310/home/myFiles/sampleFile.txt")