問題タブ [dih]

mongoのデータソースとして使用しようとしているので、 JamessolrのDIHをフォローしてsolrアプリケーションで使用しました。フォルダーに次のものを追加しました。lib

1. solr-dataimporthandler-1.4.1
2. solr-mongo-importer-1.0.0
3. nlog4j-1.2.17//LoggerFactoryクラスを要求したため
4. モンゴ-2.10.1

そして私のdata-configファイルでは単に次のようになります：

そして、完全にインポートしようとすると、次のように例外がスローされます。

誰かが私が混乱していることとこの問題を解決する方法を教えてもらえますか？

DataImportHandlerを使用して、2つの異なるデータソース（xmlとdb）からSolrインデックスを埋めようとしています。

最初の試行：2つのdata-config.xmlファイルを作成しました。1つはxmlインポート用で、もう1つはdbインポート用です。db-configが読み取りid、フィールドと言うことができますA。xml-configもidフィールドBです。

これは両方で機能します（両方のデータソースからインポートできます）が、インデックスは毎回上書きされるため（clean=falseもちろん）、idandAまたはidandB

2回目の試行についても同様です：2つのファイルを1つにマージしました

少しおかしいのは、id = '${f.file}'私が推測する-partですが、それが使用されるIDです。selectステートメントは正しく形成されていますが、でそのファイルを実行しようとすると例外が発生しますdataimport.jsp。最初の部分（xml）は正常に機能しますが、db部分に到達すると、次のようになります。

何かアドバイス？前もって感謝します

編集 私はFileNotFoundExceptionの問題を見つけました：エンティティタグ内でdatasource-属性はキャメルケースにする必要があります-> dataSource..これで実行されますが、最初の試行と同じ結果になります：フィールドのみBがインデックスに取得されます。db-entityを削除すると、ファイルの内容にインデックスが付けられます（フィールドA）

以下に示すように、dih-import.xml を構成しました。はFileListEntityProcessor、いくつかのフォルダーをウォークスルーし、各ファイルに対して XPathEntity と DB-Entity を実行します。

約 30.000 個のファイルのフル インポートを実行したところ、インポートに 3 時間近くかかりました。DIH デバッグ コンソールに戻ると、最初に見つかったファイルに対して 2 つの db 呼び出しが行われ、2 番目のファイルでは 4、次に 6、8、..

グーグルはこの件について何も見せてくれなかったので、あなたに期待しています:)

前もって感謝します

EDIT はGoogleで問題を発見しましたが、そこにも答えはありません: http://osdir.com/ml/solr-user.lucene.apache.org/2010-04/msg00138.html

そして別の編集

solr を 3.6 から 4.1 にアップデートし、インポーターを実行しました。サブエンティティの呼び出しが 2n (2, 4, 6, 8, ..) ではなく、n 回しかないことだけが問題です。

ファイルにいくつかのデータが保存されており、すべての行が 1 つのレコードを表しています。そのため、LineEntityProcessor と FileDataSource を使用しています。1 つのファイルをインポートするのは問題ありませんが、私のデータは複数のファイルに保存されています。同時に複数のファイルを Solr にインポートする方法はありますか?

私はmysqlにいくつかのテーブルを持っています。データ インポート ハンドラを使用してデータをインポートし、Solr を使用してインデックスを作成したいと考えています。出来ますか？。このリンクから data-config.xml ファイルを変更する必要があることがわかりました。Sunspot Rails で DataImportHandler を使用することは可能ですか?

もしそうなら、このデータのインポートが行われるときにレールアプリケーションを実行すると.レールアプリケーションではfullimport、deltaimportなどのDIHコマンドを与えることができないと思うので.

DIH と solr のやり取りとそれらのプログラムの流れについて少し混乱しているので、解決するのを手伝ってください。

DIH を使用して mysql テーブルからデータをインポートしようとすると、このエラーが発生しました。

ここに私のschema.xmlコードがあります

また、data-config.xml には次のコードがあります。

ここにsolrconfig.xmlファイルがあります

mysql-connector-java-3.1.14.tar.gz をダウンロードして解凍し、lib ディレクトリにコピーしました。ファイルディレクトリを正しく定義するアミ？これを修正するのを手伝ってください。

full-import コマンドを使用してデータベースからすべてのデータをインポートしようとすると、SQL クエリは 1M レコードごとに 3 つの結合テーブルになります。データソースへの最初のリクエストに時間がかかりすぎています。私は今まで完全な結果を得ていません。

コマンド=ステータスから、

データソースに対するリクエストの合計は常に「1」です

データ インポート ハンドラのプロセス ワークフローは何ですか? データソースへの最初のリクエストに時間がかかるのはなぜですか? フルインポートのパフォーマンスを向上させる方法は?

ありがとう。

Solr last_index_time は、dih が開始されたときの Solr サーバーのマシン時間です。システムが正確なタイムスタンプを持たない複数のサーバーで分散している場合、時間差をどのように処理しますか?

私にとっての 1 つの解決策は、dih delta import を実行するときに 5 分などの許容値を設定し、上記の last_index_time を 5 分差し引いたものです。一部の重複したアイテムは処理されますが、Solr は既存のアイテムをオーバーライドします。

アドバイスをいただけますか？ありがとう。