問題タブ [apache-spark-mllib]

PySpark を使用してトレーニングしたランダム フォレスト オブジェクトの機能の重要度を抽出しようとしています。ただし、ドキュメントのどこにもこれを行う例は見当たりませんし、RandomForestModel のメソッドでもありません。

RandomForestModelPySpark のリグレッサーまたは分類子から機能の重要度を抽出するにはどうすればよいですか?

ドキュメントで提供されているサンプル コードを次に示します。ただし、機能の重要性については言及されていません。

利用可能な属性が表示されませんmodel.__featureImportances_-- どこで確認できますか?

Spark MLLib の ALS を使用してレコメンデーション システムを構築しようとしています。

現在、すべてのユーザー向けの推奨事項を毎日事前に作成しようとしています。単純な暗黙のフィードバックと ALS を使用しています。

問題は、2,000 万人のユーザーと 3,000 万の製品があり、メインの predict() メソッドを呼び出すには、ユーザーと製品のデカルト結合が必要であり、これは大きすぎて、結合だけを生成するのに数日かかる場合があることです。デカルト結合を回避してプロセスを高速化する方法はありますか?

現在、64Gb の RAM を搭載した 8 つのノードがあり、データには十分だと思います。

RowMatrix から計算された平均ベクトルと同じ RowMatrix 内のすべてのベクトルとの類似性を計算する必要があります。

平均ベクトルを計算するために、私はこれを行っています（Javaの例）：

類似性を計算できるように、このベクトルを RowMatrix "マトリックス" に追加する方法、または何らかの方法でそれを行う必要がありますか?

eclipse で Scala 言語で Spark MLlib アルゴリズムを使用しようとしています。コンパイル中に問題はなく、実行中に「NoSuchMethodError」というエラーが発生します。

これが私のコードです #Copied

}

モデルの開発中にエラーが発生します。つまり、

この行の前の print ステートメントは、コンソールに値を完全に出力しています。

pom.Xml の依存関係は次のとおりです。

日食のエラー:

Spark に実装されている Collaborative Filtering アルゴリズムを試していますが、次の問題が発生しています。

次のデータを使用してモデルをトレーニングするとします。

次のデータでテストすると、次のようになります。

ユーザー 'u3' の評価は表示されません。おそらく、そのユーザーがトレーニング データに表示されないためです。これはコールドスタートの問題によるものですか？この問題は新しい製品にのみ適用されるという印象を受けました。この場合、トレーニング データの 'u1' と 'u2' は 'u3' と同様の評価情報を持っているため、'u3' の予測が期待できます。これは、モデルベースとメモリベースの協調フィルタリングの違いですか?

私はデータブリックからのトレーニングに従いました。これは Azure で実行され、次の構成でビルドされています。

build.sbt

それは機能し、推奨事項を提供します。しかし
1) コンソールは一部のコードの非推奨について不平を言っています (下のログの左矢印を参照)。この問題に関する情報が見つかりません。
2）さらに、パラメータの欠如について何度か警告します：15/03/21 14:49:51 WARN recommendation.MatrixFactorizationModel: User factor does not have a partitioner. Prediction on individual records could be slow..

コンソール

予測を BinaryClassificationMetrics boject に渡すために LinearRegression モデルにマップしようとしています。

ただし、 を呼び出すとpredictions.map(...)、次のコンパイル エラーが発生します。

予測データフレームのデータをマッピングする方法について何か提案はありますか?