問題タブ [dataimporthandler]

Coldfusion10 で solr 検索を実行しようとしています。Solr インストールでビルドを使用し、CF 管理者を使用してコレクションを作成しました。cfindex や cfsearch などで動作する schema.xml を作成します。

まず、coldfusion でインポート スクリプトを作成し、クエリを使用してデータを取得し、cfindex を使用して solr に渡しました。

これはうまく機能しますが、十分に高速ではありません。私は完全に検索できます。検索条件のスペルを間違えると、SuggestedQuery の結果が得られます。例: 「プレイステーション」の候補g 「プレイステーション」などを検索します。

その後、データ インポート Hanlder von Solr を試してみたいと思いました。データバンク接続、完全なインポートを開始するためのすべての基本的な構成ファイルなど、すべてが機能するようになりました。

インデックス作成は非常に高速でしたが、提案などはありませんでした。data-import.xml ファイルを正しく構成していないと確信しています。問題は、Coldfusion10 が cfindex タグに指定して solr に送信するファイルをどのように処理するかがわからないことです。

これは、私が試した data-config.xml ファイルの 1 つです。

DIH を使用すると、Solr は cfindex を使用する場合と同じ方法でコンテンツを処理しないようです。コンテストなどのように cf で作成された schema.xml とは異なるフィールド名で遊んでみましたが、役に立ちませんでした。

この問題に対する助けや提案は素晴らしいでしょう:)

こんにちはマルクス

SOLRをセットアップしました。以前は、正常に機能する solr インデックスにデータ (1 ラーク) をインポートしていました。

今、私は大規模なデータ (10 + lakhs レコード) を solr インデックスにインポートしようとしています。data-config.xml をセットアップしてからフルインポートを開始しましたが、失敗して以下のエラーが発生します

インデックス作成に失敗しました。すべての変更をロールバックしました。

solr 開始ログを solr.err ファイルに保存すると、エラーが発生します。

SEVERE: Ignoring Error when closing connection at com.mysql.jdbc.MysqlIO.readPacket(MysqlIO.java:637) at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2677)

@ ataConfig.java:342) で org.apache.solr.handler.dataimport.DataImporter.doFullImport(DataImporter.java:383) で org.apache.solr.handler.dataimport.DataImporter.runCmd(DataImporter.java:445) でorg.apache.solr.handler.dataimport.DataImporter$1.run(DataImporter.java:426)

4GB RAMの4コアプロセッサを使用しています。

この問題を解決するには、どのような mysql/java 構成の変更が必要ですか?

現在、私の検索は男性と女性に基づいていますが、これは遅いはずです。MALE_PROFILE のようなエンティティ名に基づいて検索できますか?

私の data-config.xml は次のようになります。ファイルのエンコーディングは、BOM 付きの UTF-8 です。

MySQL から抽出した Unicode データは問題ありません。ただし、クエリ内の Unicode 文字は、Solr インデックスに Unicode として挿入されていません。

このようなドキュメントを取得しています。

私のsolrデータインポートconfig.xmlは次のようになります

各ユーザーが複数の設定を持つことができる場所。現在、最初に見つかった user_preference のみをインポートします。すべてのユーザー設定をインポートするにはどうすればよいですか?

を実行しようとするとdomain.com:8080/solr/dataimport?command=full-import、エラーが発生しますIndexing failed. Rolled back all changes.

何が間違っているのかを知らせる追加のエラーメッセージはありませんか? 助言がありますか？

データ構成.xml

出力

ログ

私は Solr を初めて使用するので、フル インポートが正常に機能するのにデルタ インポートが何もしない理由がわかりません。Delta-import を実行するたびに、新しいドキュメントの追加について言及していない同じ応答が返されます。列が存在し、その行が編集/追加されるたびupdated_atに正しいものが含まれます。timestamp

デルタ インポートを機能させるために必要なものが不足していますか?

の出力http://domain.com:8080/solr/dataimport?command=delta-import

データ構成.xml

私が管理しているWordpressサイトでSolr3.6を使用して検索を実行していますが、今朝、Sorlがデータのインポートを実行できないことがわかりました。http://example.com:9393/solr/wordpress/dataimport?command=full-importを実行しようとしました。今日まで輸入品は喜んで動き回っていましたが、今はメッセージだけを受け取っています、Indexing failed. Rolled back all changes.

明らかな何かが欠けている可能性がありますが、Solrはデータインポートログをどこに保持しますか？問題が何であるかを確認したいのですが、適切なログを見つけることができませんでした。

Solr のインデックス作成に時間がかかりすぎます。3,000 万件を超えるレコードで mysql を使用しています。2 レベルのサブクエリを使用しています。プロセスを高速化できるように、データのインデックス作成のベスト プラクティスを教えてください。

私は、多値フィールドに初期値または追加値を追加する Solr DataImportHandler ScriptTransformer を作成する必要がある立場にあります。

現在、このメソッドを使用しようとしてrow.put('fieldname', value)いますが、最後に追加された値が、新しい値を追加するのではなく、既存の値をオーバーライドしているようです。

ScriptTransformer を介して複数値を持つフィールドに新しい値を追加するには、どのメソッドまたは構文が必要ですか?