httpfs または Webhdfs を介して HDFS から Spark にファイルを読み込みたいと考えています。の線に沿った何か
sc.textFile("webhdfs://myhost:14000/webhdfs/v1/path/to/file.txt")
または、理想的には、
sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt")
Spark に Webhdfs/httpfs 経由でファイルを読み取らせる方法はありますか?
WebHDFS/HttpFS は、REST-API 経由でデータを送信するためのストリーミング ソースのようなものだと思います。
次に、Spark Streaming を使用して、WebHDFS/HttpFS からデータを受信できます。
SPARK-2930 ドキュメント強化要求によると、spark.yarn.access.namenodes は webhdfs / hdfs でも機能するはずです。 SPARK-2930 spark.yarn.access.namenodes での webhdfs の使用に関するドキュメントを明確にします
YARN で Spark を実行 する spark.yarn.access.namenodes の詳細を取得する