predictionio - 大規模なデータのトレーニング時にエンジンがハングする

Question

400,000 レコード (約 200 MB) をトレーニングする際に、同様の製品テンプレートである als で問題が発生しました。Stage 13 で停止 : ===================== [0 + 1] / 2

誰でもこれで私を助けることができますか?

Answer 1

コマンドを起動すると、ミニ Spark サーバーが使用されます。

pio train

このミニサーバーはリソースが限られています。独自の Spark クラスターを起動する必要があります。PredictionIO サーバーと同じマシンで起動できます。次のコマンドで Spark スタンドアロンを起動する必要があります。

./PredictionIO/vendors/spark-1.5.1/sbin/start-master.sh --webui-port 8180
./PredictionIO/vendors/spark-1.5.1/sbin/start-slave.sh spark://localhost:7077 --webui-port 8181

次に、次のコマンドでその Spark インスタンスを使用してトレーニングできます。

pio train -- --master spark://localhost:7077 --driver-memory 4G --executor-memory 8G

spark://localhost:7077にアクセスできない場合は、ポート 8180 で WebUI を開いてマスターの URL (ページの最初の行) を確認できます。その URL を使用して、スレーブと列車を接続します。