問題タブ [retrieve-and-rank]

私たちが知っているグラウンド トゥルースは、NLC または R&R を再トレーニングするために使用されます。

グラウンド トゥルースは、質問レベルのトレーニング データです。

例えば

「今日の気温は?,気温」

「今日はどのくらい暑いですか？」という質問。したがって、「温度」クラスに分類されます。

アプリケーションが起動すると、実際のユーザーからの質問が届きます。いくつかは同じです (つまり、実際のユーザーからの質問はグラウンド トゥルースの質問と同じです)、いくつかは類似した用語で、いくつかは新しい質問です。アプリケーションには、クラス (NLC の場合) または回答 (R&R の場合) が関連しているかどうかを知るためのフィードバック ループがあると仮定します。

ここでの主な質問は、要するに、NLC と R&R の再トレーニング アプローチとは何かということです...

私は取得とランクのチュートリアルに従っていますが、train.py スクリプトまではすべて問題ありません。以下のエラー メッセージが表示されます。

何か案は？

Retrieve and Rank - Get Startedのチュートリアルに従っており、次のステップにいます。

次のコマンドを発行して、cranfield_data.json データを example_collection コレクションにアップロードします。{username}、{password}、{solr_cluster_id}、および {/path_to_file} を自分の情報に置き換えます。

正しいユーザー名とパスワード、正しい cluster_id と json へのパスを使用してリクエストをロビングしていますが、次のエラーが発生します。

fcselect の結果には、結果ごとに「score, featureVector」という次のフィールドがあります。Score max value is 10, while featureVector can be "1.8894386 0.94715786 0.39159727 0.96143353 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.13101925 0.01616435 0.0 0.01616435 1.5496718 0.7325779 0.27778885 0.7465826 0.75 0 0.6931471805599453 10.0"

スコア=10は何を意味しますか? 10が最大一致ですか？私の結果にとって featureVector は何を意味しますか?

Retrieve&Rank サービスのドキュメントには、結果のランキングに関する 2 つの方法があります。

• ランク: 上位の回答と、ランク付けされたスコアと信頼値を含むランク付けされた回答のリストを返します ( http://www.ibm.com/smarterplanet/us/en/ibmwatson/developercloud/retrieve-and-rank/api/v1/ ?node#rank )
• 検索とランク: クエリの再ランク付けされた結果を返します。リクエストは、Search Solr の標準クエリ パーサー メソッド ( http://www.ibm.com/smarterplanet/us/en/ibmwatson/developercloud/retrieve-and-rank/api/v1/?node#query_ranker )に似ています。

違いは何ですか？ランク付け方法で「カスタム機能」とは何を意味しますか? 最初の方法を使用する必要があるのはいつですか? 2番目の方法はいつですか？

Solr クラスターで長い一意のキーを自動生成したい。私は IBM Watson Retrieve and Rank サービスを使用しており、Solr の標準的な方法で自動生成メカニズム (UUID の生成など) を試しましたが、Retrieve および Rank クラスターでは機能しません。IBM が古いバージョンの Solr を使用しているか、IBM によってカスタマイズされている可能性があります。

誰がそのような状況にあり、どのようにそれを修正しましたか?

それからあなたは事前に。

Retrieve&Rank サービスでカスタム uima アノテーターを使用することはできますか?
カスタム・アノテーター (jar ファイルとしてパッケージ化) をサービスにアップロードするにはどうすればよいですか?

カスタム ドメイン エンティティを検出するには、エンティティ アノテーターを作成する必要があります。

Nutch クロールされたデータを Bluemix solr で索引付けしようとしていますが、それを行う方法が見つかりません。私の主な質問は次のとおりです。そうするのを手伝ってくれる人はいますか? ナッチ クロールしたデータの結果を Blumix Solr に送信するにはどうすればよいですか。クロールには Nutch 1.11 を使用しましたが、これまでに行ったことと直面した問題の一部を以下に示します。2 つの解決策があると思いました。

1. ナットコマンドで：

「NUTCH_PATH/bin/nutch インデックス クロール/crawldb -linkdb クロール/linkdb クロール/ -Dsolr.server.url="OURSOLRURL"」</p>

OURSOLR によって、nutch のクロールされたデータをインデックス化できます。しかし、私はそれにいくつかの問題を発見しました。

a-奇妙に聞こえるかもしれませんが、URL を受け入れることができませんでした。代わりに URL のエンコードを使用して処理できます。

b-特定のユーザー名とパスワードに接続する必要があるため、nutch が solr に接続できませんでした。これを考慮して：

コマンドライン出力で、コマンド「solr.auth = true solr.auth.username = "SOLR-UserName" solr.auth.password = "Pass"」の認証パラメーターを使用して、この問題を管理しようとしました。

したがって、これまでのところ、このコマンドを使用する必要があります。

」bin/nutch インデックス クロール/crawldb -linkdb クロール/linkdb クロール/セグメント/2016* solr.server.url="https%3A%2F%2Fgateway.watsonplatform.net%2Fretrieve-and-rank%2Fapi%2Fv1%2Fsolr_clusters% 2FCLUSTER-ID%2Fsolr%2Fadmin%2Fcollections" solr.auth=true solr.auth.username="ユーザー名" solr.auth.password="PASS"".

しかし、何らかの理由で、このコマンドは認証パラメーターをクロールされたデータ ディレクトリと見なし、機能しません。だから、「Active IndexWriters」への正しい方法ではないと思いますが、どうすればいいですか??

2. curl コマンドで:

“curl -X POST -H "Content-Type: application/json" -u "BLUEMIXSOLR-USERNAME":"BLUEMIXSOLR-PASS" " https://gateway.watsonplatform.net/retrieve-and-rank/api/v1/ solr_clusters/CLUSTERS-ID/solr/example_collection/update " --data-binary @{/path_to_file}/FILE.json"</p>

このコマンドで作成されたjsonファイルをフィードできるのではないかと思いました：

bin/nutch commoncrawldump -outputDir finalcrawlResult/ -segment crawl/segments -gzip -extension json -SimpleDateFormat -epochFilename -jsonArray -reverseKey しかし、ここにはいくつかの問題があります。

を。このコマンドは、複雑なパスで非常に多くのファイルを提供するため、それらすべてを手動で投稿するには非常に時間がかかります。1 つのコマンドだけで、ディレクトリとそのサブディレクトリ内のすべてのファイルを一度に POST する方法はありますか??

b. commoncrawldump で作成された json ファイルの先頭に "ÙÙ÷yœ" という奇妙な名前があります。

c. 私は奇妙な名前を削除し、これらのファイルの 1 つだけを POST しようとしましたが、結果は次のとおりです。

これらのファイルは Bluemix solr にフィードできず、すべて役に立たないということですか?