問題タブ [apache-spark]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
machine-learning - Apache Spark でのベクター マシンのサポート
Apache Sparkでのサポート ベクター マシン (SVM)の実行について、いくつかの洞察を得たいと思います。
Spark ホーム ディレクトリにあるrun-exampleスクリプトを使用し、引数を使用すると、次のメッセージが表示されます。、 、および引数を理解しています。
残りの引数を理解するのを手伝ってもらえますか、少なくとも何らかのチュートリアルサイトに案内してもらえますか?org.apache.spark.mllib.classification.SVMWithSGDUsage: SVM <master> <input_dir> <step_size> <regularization_parameter> <niters><master><input_dir><niters>
scala - マスターを実行している Spark ClassNotFoundException
を使用して Spark 0.80 をダウンロードしてビルドしsbt/sbt assemblyました。成功しました。ただし、実行./bin/start-master.shすると、ログ ファイルに次のエラーが表示されます。
更新: sbt cleanを実行した後(以下の提案に従って)、実行中です: スクリーンショットを参照してください。
scala - Spark で lines.map が機能しないのに、lines.take.map が機能するのはなぜですか?
Scala と Spark は初めてです。
SparkHdfsLR.scala コードで練習しています。
しかし、コードのこのセクションで問題が発生しました。
61 行目は機能しません。これに変更した後：
sbt 実行のエラー メッセージは次のとおりです。
タスク ノードの標準エラーは次のとおりです。
ログインワーカーは次のとおりです。
ワーカー ロードが正常に起動されていないようです。
どうしてか分かりません。私に提案をしてくれる人はいますか？
scala - この LR コードが spark で実行されるのが遅すぎるのはなぜですか?
MLlib はスパース入力をサポートしていないためです。そこで、スパース入力形式をサポートするフロー コードを Spark クラスターで実行します。そして、設定は次のとおりです。
- 5 つのノード、各ノードには 8 つのコアがあります (コードを実行すると、各ノードのすべての CPU は 100%、ユーザー モデルでは 98% です)。
- 入力: HDFS で 10,000,000 以上のインスタンス、および 600,000 以上のディメンション
コードは次のとおりです。
誰でも私を助けることができますか？ありがとう！