0

データベースに格納されているバイナリ コンテンツ データを列 file_data のテーブル document_attachment に解析し、S​​olr を使用してコンテンツを検索できるようにインデックスを作成しようとしています。インデクサーを実行すると、「dcs」という名前のエンティティでクエリを実行して返された行の 2 倍の数の行がフェッチされ、エラーや例外はスローされません。ただし、バイナリコンテンツ（テーブルからフェッチしたにもかかわらず、tikaに関連付けるフィールド）のインデックスは作成しません。

apache-solr-3.6.1 と Tika 1.0 を使用しています

私の構成ファイルは次のようになります。

データ構成.xml

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
 <dataSource
          driver="com.mysql.jdbc.Driver"
          url="jdbc:mysql://localhost/espritkm_1?zeroDateTimeBehavior=convertToNull"
          user="root"
          password=""
          autoCommit="true" batchSize="-1"
          convertType="false"
          name="test"
          />

  <dataSource name="fieldReader" type="FieldStreamDataSource" />
  <document name="items">
  <entity name="dcs"
          query="SELECT 222000000000000000+d.id AS common_id_attr,d.id AS id,UNIX_TIMESTAMP(d.created_at)  AS date_added,d.file_name as common1, d.description as common2, d.file_mime_type as common3, 72 as common4,(Select group_concat(trim(tags) ORDER BY trim(tags) SEPARATOR ' | ') from tags t where t.type_id = 72 AND t.feature_id = d.id group by t.feature_id) as common5,d.created_by as common6, df.name as common7,CONCAT(d.file_name,'.',d.file_mime_type) as common8,'' as common9,(Select da.file_data from document_attachment da where da.document_id = d.id) as text  FROM document d LEFT JOIN document_folder df ON df.id = d.document_folder_id  WHERE d.is_deleted = 0 and d.parent_id = 0 " dataSource="test" transformer="TemplateTransformer">

<field column="common_id_attr" name="common_id_attr" />
    <field column="id" name="id" />
        <entity dataSource="fieldReader" processor="TikaEntityProcessor" dataField="dcs.text" format="text" pk="dcs.id" >  

    <field column="text" name="text" />
   </entity>
 </entity>

schema.xml

   <schema>
    <fields> 
     <field name="common_id_attr" type="string" indexed="true" stored="true" multiValued="false"/>
     <field name="id" type="string" indexed="true" stored="true"/>
     <field name="text" type="text" indexed="true" stored="true" multiValued="true"/>
   </fields> 
  <uniqueKey>common_id_attr</uniqueKey>
  <solrQueryParser defaultOperator="OR"/>
  <defaultSearchField>text</defaultSearchField>
 </schema>

それがフェッチする行は、tika の行を個別にカウントするドキュメントの数の 2 倍ですが (理由がわかりません)。バイナリ コンテンツのインデックスは作成しません。

私は長い間この問題に悩まされています。誰か助けてくれませんか

4

1 に答える 1

1

Apache Solr バージョン 3.6.2 を使用してドキュメントのインデックスを作成できました。ここで手順を説明しました：

http://tuxdna.wordpress.com/2013/02/04/indexing-the-documents-stored-in-a-database-using-apache-solr-and-apache-tika/

3.6.1でも実行できるはずだと思います。公式サイトから 3.6.2 しか入手できなかったとき、バージョン 3.6.1 の tarball を探すのが待ちきれませんでした。

それが役立つことを願っています。

于 2013-02-04T13:08:40.287 に答える