「Revo64-9.0 -f testrxspark.R」コマンドで以下のコードを実行しようとしています
list.files(system.file("SampleData", package = "RevoScaleR"))
myHadoopCluster <- RxSpark(namenode="zzz.westeurope.cloudapp.azure.com", port=8020,consoleOutput=TRUE)
rxSetComputeContext(myHadoopCluster)
file.exists(system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR"))
bigDataDirRoot <- "/user/RevoShare" # HDFS location of the example data
rxHadoopListFiles(bigDataDirRoot) # There will be no files at this point.
source <-system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR")
inputDir <- file.path(bigDataDirRoot,"AirlineDemoSmall")
rxHadoopMakeDir(inputDir)
rxHadoopListFiles(bigDataDirRoot)
rxHadoopCopyFromLocal(source, inputDir)
rxHadoopListFiles(inputDir)
hdfsFS <- RxHdfsFileSystem(hostName="zzz.westeurope.cloudapp.azure.com", port=8020)
colInfo <- list(DayOfWeek = list(type = "factor", levels = c("Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday")))
airDS <- RxTextData(file = inputDir, missingValueString = "M", colInfo = colInfo, fileSystem = hdfsFS)
# adsSummary <- rxSummary(~ArrDelay+CRSDepTime+DayOfWeek, data = airDS)
rxSummary(~ArrDelay:DayOfWeek, data = airDS)
次のエラーが発生しました：
17/03/19 00:00:11 警告 util.NativeCodeLoader: プラットフォームのネイティブ Hadoop ライブラリをロードできません... appli$ の組み込み Java クラスを使用しています
警告: libjvm.so が /log/cloudera/parcels/MRS-9.0.1/hadoop に見つかりません。システム全体を検索します
内部エラー: hdfs ファイル システムに接続している間は、hdfs 内部パラメーターをリセットできません。
try({ のエラー: 内部エラー: hdfs ファイル システムに接続している間、hdfs 内部パラメーターをリセットできません。
エラー: try({ のエラー: 内部エラー: hdfs ファイル システムに接続している間、hdfs 内部パラメーターをリセットできません。
ScaleR ライブラリー scaleR-hadoop-0.1-SNAPSHOT.jar は、すべてのノードの Cloudera Parcel hadoop lib フォルダーにコピーされます。これをできるだけ早く修正するのを手伝ってください