1

デモンストレーション用のランカーを構築しようとしています。「自動トレーニング」を行ったところ、OK の結果が得られました (改善される可能性があります)。手動トレーニングを開始しようとしていますが、Bluemix のオンライン ドキュメント ( https://www.ibm.com ) のパラメーターの意味について混乱しています。 /watson/developercloud/doc/retrieve-rank/training_data.shtml#manual

次の Bluemix サンプル データについて説明してもらえますか?

query_id, feature1, feature2, feature3,...,ground_truth
question_id_1, 0.0, 3.4, -900,...,0
question_id_1, 0.5, -70, 0,...,1
question_id_1, 0.0, -100, 20,...,3
...

query__id とは何ですか? (それは何を表しているのですか?) feature1、feature2 とは何ですか? (それは何を表していますか?) question_id_1 とは何ですか? （それは何を表しているのですか？）そしてそれらのスコアはどのように計算されますか（0.0、3.4、-900）？

私は、ground_truth の値が 0 から 4 まででなければならないことを理解しました (0 はまったく関連がないことを意味し、4 は完全一致を意味します)、それは正しいですか?

よろしくザビエル

4

1 に答える 1

0

トレーニング データは、ランク付けの学習(L2R) アルゴリズムをトレーニングするためのものです。L2R アプローチでは、最初にcandidate answers(検索結果ページ内のドキュメントqueryなど) (別名、質問) に応じて生成されたリストを取得し、それぞれquery-answer pairを一連の機能として表します。各機能は、特定の候補の回答がクエリにどの程度一致するかを示す何らかの表現をキャプチャすることを願っています。トレーニング データの各行は、これらのクエリと回答のペアの 1 つに属する特徴値を表します。

トレーニング データにはさまざまなクエリ (および対応する検索結果) からの特徴ベクトルが含まれているため、最初の列ではクエリ ID を使用して、1 つのクエリに応答して生成されたさまざまな候補の回答を結び付けます。

あなたが言ったように、最後の列は単純に、人間のアノテーターが回答が実際に質問に関連していると信じていたかどうかを捉えています。0 ～ 4 のスケールは必須ではありません。0 は常に無関係を表します。ただし、その後は、ユースケースに適したスケールを使用できます (データが限られている場合は、複雑さが軽減されるため、0-1 のバイナリスケールを使用することがよくあります)。

参照したドキュメント ページで利用できるようになったpython スクリプトは、実際には、さまざまなクエリを含むファイルを指定して、候補の回答と対応する特徴ベクトルを生成するプロセスを実行します。トレーニング データを作成する方法をよりよく理解するために、そのスクリプトのコードをステップ実行することをお勧めします。

于 2017-03-09T21:50:48.007 に答える