20 ～ 2000 アイテムのセットから最高の 10 アイテムをクラウドソーシングするシステムをセットアップしたいと考えています (トップ 10 のランキングは重要ではありません)。How to rank a million images with a cloudsourced sort に、実際のソートを行うためのアルゴリズムに関する優れた stackoverflow の投稿があり ます。私は、ユーザーに 2 つのアイテムの中でどれが一番好きかを尋ねてから、 TrueSkillアルゴリズムを使用することに傾いています。
TrueSkill のようなものを使用しているのですが、ユーザーに評価を表示するアイテムのペアを決定するための最適なアルゴリズムは何ですか? どのアイテムが一番好きかを人々に尋ねる機会は限られているので、提示されたペアがシステムにトップ 10 を特定する上で最も価値のある情報を与えることが重要です。残りのアイテムがどのようにランク付けされているか、または上位 10 個がどのようにランク付けされているかについても同様です。
このための別のよく知られたアルゴリズムは、囲碁またはチェスのトーナメントでランキングを計算するために作成されました。このようなペアリングとランクを同時に計算するMacMahon Algorithmsを見ることができます。このアルゴリズムを切り捨てて、10 個の最良のアイテムのセットのみを生成できるようにする必要があります。
詳細については、 Christian Gerlach の論文を参照してください。この論文では、実際の最適化アルゴリズムについて説明しています (残念ながら、論文はドイツ語です)。
この問題は、プレーヤーのスキルがあまり知られていない、プレーヤーの数が非常に多いノックアウト トーナメントを組織するのと非常によく似ています (学校レベルのテニス トーナメントを考えてみてください)。ラウンド ロビン ( O(n^2) マッチ) は非常にコストがかかるため、単純なノックアウト トーナメントは単純すぎるため、通常のオプションは k エリミネーション構造を使用することです。基本的に、すべてのプレイヤー (あなたのコンテキストではアイテム) は、k ゲームを失った後、競合からノックアウトされます。ダブルエリミネーション構造を見てみましょう: http://en.wikipedia.org/wiki/Double-elimination_tournament .
おそらく、ニーズに合わせて十分に変更できます。