私は Elasticsearch を初めて使用し、取り込みプラグインを使用しようとしています (それについていくつか質問を投稿しました)。私がやろうとしていることには、Fscrawler を使用する必要があることが示唆されています。Elasticsearch 5.5.1 を使用しており、Fscrawler 2.3 をインストールしました。Java 8.0.1 をインストールし、Java ディレクトリを指す環境変数 'JAVA_HOME' を作成しました。Kibana を使用して、以下を作成しました。
PUT _ingest/pipeline/docs
{
"description": "documents",
"processors" : [
{
"attachment" : {
"field": "data",
"indexed_chars" : -1
}
}]
}
PUT myindex
{
"mappings" : {
"documents" : {
"properties" : {
"attachment.data" : {
"type": "text",
"analyzer": "standard"
}
}
}
}
}
Fscrawlerの_settingsファイルで、URLをドキュメントフォルダーに設定し、elaasticsearchセクションに含めました"index" : "myindex"
PowerShell コマンドの使用.\fscrawler mydocs --loop 1
以下は、コマンドからの出力です。
ここに fscrawler の _settings.json ファイルがあります
{
"name" : "docs",
"fs" : {
"url" : "w:\\Elasticsearch\\Docs",
"update_rate" : "15m",
"excludes" : [ "~*" ],
"json_support" : false,
"filename_as_id" : false,
"add_filesize" : true,
"remove_deleted" : true,
"add_as_inner_object" : false,
"store_source" : false,
"index_content" : true,
"attributes_support" : false,
"raw_metadata" : true,
"xml_support" : false,
"index_folders" : true,
"lang_detect" : false,
"continue_on_error" : false,
"pdf_ocr" : true
},
"elasticsearch" : {
"nodes" : [ {
"host" : "127.0.0.1",
"port" : 9200,
"scheme" : "HTTP"
} ],
"index" : "myindex",
"bulk_size" : 100,
"flush_interval" : "5s",
"username" : "elastic",
"password" : "changeme"
},
"rest" : {
"scheme" : "HTTP",
"host" : "127.0.0.1",
"port" : 8080,
"endpoint" : "fscrawler"
}
}