問題タブ [ranking-functions]

約 30 の変数 (列) を持つ約 5,000 万レコードのデータ セットがあります。変数ごとにデータセットをランク付けする必要があります。

この大規模なデータセットには大量のメモリが必要なため、プロシージャ ランクは機能しません。

ランクを手動で指定するには、それぞれの変数列でデータセットを並べ替えてから、数式を使用してランクを指定する必要があります。しかし問題は、データセットを 30 個の変数で 30 回ソートする必要があることです。これには非常に長い時間がかかり、実現不可能です。

この場合、どのような代替手段を使用できますか?

私は現在、RankNet アルゴリズム (-ranker 4) の RankLib 実装をホールドアウト セットで使用しています。これを実行するためにターミナルでjarファイルを使用しています。

ドキュメントでは次のように規定されています。

metric2t (NDCG、ERR など) は、リスト単位のアルゴリズム (AdaRank、Coordinate Ascent、LambdaMART) にのみ適用されます。ポイント単位およびペア単位の手法 (MART、RankNet、RankBoost) は、その性質上、常に内部 RMSE / ペア単位の損失を最適化基準として使用します。

ただし、「metrics2t」を ERR@10 または NDCG@10 に設定すると、「RMSE」ではなく、選択したメトリックでトレーニングと検証が開始されます。

これは、RankNet を ERR@10 で実行したときに出力されたテーブルの一部です。

これは私には矛盾しているように見えるので、私が見逃しているものはありますか。

ありがとう。