1

私のマシンにはsolr 3.6.2がインストールされており、Tomcatで完全に動作しています。solr を使用してウィキペディアのダンプ ファイルのインデックスを作成したいと考えています。DataImportHandler を使用してこれを行うにはどうすればよいですか? その他の方法で？私はxmlの知識がありません。

私が言及したファイルは、解凍すると約 45GB のサイズになります。どんな助けでも大歓迎です。

更新-DataImportHandlerページで言ったことをやってみました。しかし、おそらくsolrのバージョンがかなり古いため、いくつかのエラーがあります。

私のdata.config-

<dataConfig>
    <dataSource type="FileDataSource" encoding="UTF-8" />
    <document>
    <entity name="page"
            processor="XPathEntityProcessor"
            stream="true"
            forEach="/mediawiki/page/"
            url="./data/enwiki.xml"
            transformer="RegexTransformer,DateFormatTransformer"
            >
        <field column="id"        xpath="/mediawiki/page/id" />
        <field column="title"     xpath="/mediawiki/page/title" />
        <field column="revision"  xpath="/mediawiki/page/revision/id" />
        <field column="user"      xpath="/mediawiki/page/revision/contributor/username" />
        <field column="userId"    xpath="/mediawiki/page/revision/contributor/id" />
        <field column="text"      xpath="/mediawiki/page/revision/text" />
        <field column="timestamp" xpath="/mediawiki/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
        <field column="$skipDoc"  regex="^#REDIRECT .*" replaceWith="true" sourceColName="text"/>
   </entity>
    </document>

スキーマ (ウェブサイトで提供されている部分を自分の schema.xml ファイルに追加しただけです)

私が得ているエラーは -

<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
</lst>
<lst name="initArgs">
<lst name="defaults">
<str name="config">solr-data-config.xml</str>
</lst>
</lst>
<str name="command">full-import</str>
<str name="status">idle</str>
<str name="importResponse"/>
<lst name="statusMessages">
<str name="Time Elapsed">0:0:1.381</str>
<str name="Total Requests made to DataSource">0</str>
<str name="Total Rows Fetched">0</str>
<str name="Total Documents Processed">0</str>
<str name="Total Documents Skipped">0</str>
<str name="">Indexing failed. Rolled back all changes.</str>
<str name="Rolledback">2013-05-17 16:48:32</str>
</lst>
<str name="WARNING">
This response format is experimental. It is likely to change in the future.
</str>
</response>

助けてください

4

1 に答える 1

2

単純な投稿は、ウィキペディアをインデックス化する正しい方法ではありません。代わりに DataImportHandler の使用を検討する必要があります。DIH はストリーミング インポートをサポートします。

于 2013-05-16T19:46:00.453 に答える