私は経験豊富な Python プログラマーで、分類タスクのために一部の Python コードを Spark に移行しようとしています。Spark/Scala で作業するのはこれが初めてです。
Python では、Keras/tensorflow と sci-kit Learn ニューラル ネットワークの両方がマルチクラス分類で優れた機能を発揮し、このプロジェクトの鍵となる確率と共に上位 3 つの最も可能性の高いクラスを簡単に返すことができます。
コードを Spark (Scala) に移行することには概ね成功しており、正しい予測を生成することはできますが、MLlib の MultilayerPerceptronClassifier から上位の予測クラスの確率を返す方法を見つけることができませんでした。
私が見つけた最も近い解決策は、次の投稿でした: MultilayerPerceptronClassifier から分類確率を取得する方法は? ただし、コードの重要な部分が欠落しているか、Scala (おそらく後者) に慣れていないため、必要な調整を行うことができないため、投稿のソリューションを機能させることができません。
誰かがこの問題を解決しましたか?
これらは私の環境での現在のバージョンです。Spark バージョン: 2.1.1 Scala バージョン: 2.11.8
ご協力いただきありがとうございます、
RKB