0

私は Elasticsearch を初めて使用し、取り込みプラグインを使用しようとしています (それについていくつか質問を投稿しました)。私がやろうとしていることには、Fscrawler を使用する必要があることが示唆されています。Elasticsearch 5.5.1 を使用しており、Fscrawler 2.3 をインストールしました。Java 8.0.1 をインストールし、Java ディレクトリを指す環境変数 'JAVA_HOME' を作成しました。Kibana を使用して、以下を作成しました。

PUT _ingest/pipeline/docs 
{
  "description": "documents",
  "processors" : [
    {
     "attachment" : {
        "field": "data",
        "indexed_chars" : -1
      }
    }]
}
PUT myindex
{
  "mappings" : {
    "documents" : {
      "properties" : {
        "attachment.data" : {
          "type": "text",
          "analyzer": "standard"
        }
      }
    }
  }
}

Fscrawlerの_settingsファイルで、URLをドキュメントフォルダーに設定し、elaasticsearchセクションに含めました"index" : "myindex"

PowerShell コマンドの使用.\fscrawler mydocs --loop 1

以下は、コマンドからの出力です。

ここに画像の説明を入力

ここに fscrawler の _settings.json ファイルがあります

{
  "name" : "docs",
  "fs" : {
    "url" : "w:\\Elasticsearch\\Docs",
    "update_rate" : "15m",
    "excludes" : [ "~*" ],
    "json_support" : false,
    "filename_as_id" : false,
    "add_filesize" : true,
    "remove_deleted" : true,
    "add_as_inner_object" : false,
    "store_source" : false,
    "index_content" : true,
    "attributes_support" : false,
    "raw_metadata" : true,
    "xml_support" : false,
    "index_folders" : true,
    "lang_detect" : false,
    "continue_on_error" : false,
    "pdf_ocr" : true
  },
  "elasticsearch" : {
    "nodes" : [ {
      "host" : "127.0.0.1",
      "port" : 9200,
      "scheme" : "HTTP"
    } ],
    "index" : "myindex",
    "bulk_size" : 100,
    "flush_interval" : "5s",
    "username" : "elastic",
    "password" : "changeme"
  },
  "rest" : {
    "scheme" : "HTTP",
    "host" : "127.0.0.1",
    "port" : 8080,
    "endpoint" : "fscrawler"
  }
}
4

1 に答える 1