1

Databricks.comの Notebook と Cluster を使用して Spark と Scala を学習するのは初めてです。ファイルを読み込むための非常に単純なコードを次に示します。

import sys.process._
val localpath="file:/tmp/myfile.json"
dbutils.fs.mkdirs("dbfs:/datasets/")
dbutils.fs.cp(localpath, "dbfs:/datasets/")

しかし、次のようなエラーが発生しました：

java.io.FileNotFoundException: ファイル file:/tmp/myfile.json が存在しません。

org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402) で

org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255) で

com.databricks.backend.daemon.dbutils.FSUtils$.cp(DBUtilsCore.scala:82) で

com.databricks.dbutils_v1.impl.DbfsUtilsImpl.cp (DbfsUtilsImpl.scala:40) で

私は Mac を使用しており、ファイルがこの絶対パスに存在することを確認しました。これはスパーク エラーですか? ありがとう！

4

1 に答える 1

0

この線：

val localpath="file:/tmp/myfile.json"

次のようにする必要があります。

val localpath="file://tmp/myfile.json"

基本的に、すべての URI は ://path の形式です。RFC-3986を参照してください。

于 2016-10-17T19:32:10.157 に答える