問題タブ [mlp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - scikitlearn で MLPClassifier をトレーニング中にコスト マトリックスを割り当てることは可能ですか?
MLPClassifier を使用してニューラル ネットワークをトレーニングしているときに、コスト マトリックスを割り当てることができるかどうかについての答えを見つけようとしましたが、見つけられませんでした。不均衡なデータセットがあります。私のデータの 90% はクラス A で、10% はクラス B です。さらに、クラス B のインスタンスを特定することにもっと関心があります。したがって、クラス B の欠落に対してペナルティを課したいと思います。そうしないと、モデルは常に予測することを学習します。クラス A で 90% の精度が得られます。私の唯一の解決策は、トレーニングセットをオーバーサンプリング/アンダーサンプリングすることですか?
scala - Spark MultilayerPerceptronClassifier クラスの確率
私は経験豊富な Python プログラマーで、分類タスクのために一部の Python コードを Spark に移行しようとしています。Spark/Scala で作業するのはこれが初めてです。
Python では、Keras/tensorflow と sci-kit Learn ニューラル ネットワークの両方がマルチクラス分類で優れた機能を発揮し、このプロジェクトの鍵となる確率と共に上位 3 つの最も可能性の高いクラスを簡単に返すことができます。
コードを Spark (Scala) に移行することには概ね成功しており、正しい予測を生成することはできますが、MLlib の MultilayerPerceptronClassifier から上位の予測クラスの確率を返す方法を見つけることができませんでした。
私が見つけた最も近い解決策は、次の投稿でした: MultilayerPerceptronClassifier から分類確率を取得する方法は? ただし、コードの重要な部分が欠落しているか、Scala (おそらく後者) に慣れていないため、必要な調整を行うことができないため、投稿のソリューションを機能させることができません。
誰かがこの問題を解決しましたか?
これらは私の環境での現在のバージョンです。Spark バージョン: 2.1.1 Scala バージョン: 2.11.8
ご協力いただきありがとうございます、
RKB