machine-learning - Vowpal Wabbit 使用時の AUC の計算

Question

Vowpal Wabbit 内で AUC を計算する方法はありますか?

私が Vowpal Wabbit を使用している理由の 1 つは、データ ファイルのサイズが大きいことです。Vowpal Wabbit の出力を使用して Vowpal Wabbit 環境外で AUC を計算できますが、データ ファイルが大きい場合は問題になる可能性があります。

Answer 1

現在、VW はAUCを報告できません。さらに悪いことに、AUC を直接最適化することはできません。AUC の最適化はオンライン学習と互換性がありませんが、最適化に適した AUC の近似値がいくつかあります。

あなたの質問に関しては、未加工の予測を含む中間ファイルをディスクに保存する必要はありません。外部評価ツール (この場合はperf )に直接パイプできます。

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

編集: John Langfordは、AUC は通常、偽陽性と偽陰性の損失の比率を変更することで最適化できることを確認しました。VW では、これは正例と負例に異なる重要度を設定することを意味します。ホールド アウト セット (または相互検証、またはワンパス学習の漸進的検証損失) を使用して、最適な重みを調整する必要があります。