問題タブ [mlcp]

MacOS 10.10.4 で mlcp を使用して 160,000 個の XML ドキュメントを MarkLogic 8.0-2 にロードしようとすると、mlcp-Hadoop2-1.3-1/bin/mlcp.sh: line 16: /usr/bin/java: Argument list too longエラーがスローされます。

私が発行しているコマンド：

mlcp import -database FO -username sss4r -password ******* -host localhost -port 8003 -mode local -input_file_pattern '*\.xml' -output_uri_replace "/Users/sss4r/Documents/FOPOC,''" -input_file_path .

これはおそらく Unix シェルの問題だと思います。mlcp は名前のリストを返すためにファイルシステム機能を使用しています。コマンドで処理できるファイル名の数にはシステムベースの制限があります。

この問題を解決するためにMarkLogicianが推奨するベストプラクティスは何ですか? 小さいチャンクで一括ロードしようとしていますか? システムの制限を変更してみますか?

ありがとう。

MLCP と取り込み時に基本的な変換スクリプトを使用して、多数の JSON ファイルを MarkLogic 8 にロードしようとしています。

ファイルをそのままロードでき、ML で JSON オブジェクトを取得できます。

私が欲しいのは、取り込み時に JSON から XML に変換することなので、次のような基本的な変換を作成しました。

ここで、MLCP を使用して変換なしでドキュメントをロードすると動作しますが、上記のように ML8 内で JSON を取得します。(私はRoxyを使用して、MLCP 用にロードする適切な環境を呼び出します。)

上記は正常に動作します。

しかし、次のように変換を使用します。

エラーが表示されます:「エラー contentpump.MultithreadedMapper: 不明なコンテンツ タイプ: json」

Query Console では期待どおりに機能し、JSON 変数を XML ドキュメントに変換します...

ここで何が欠けていますか？

TX

ヒューゴ

この文書を分割する必要があります

私はこのコマンドでそれを行います：

コマンドは正常に動作しますが、MarkLogic では、宣言された stwtext.id に属さず、最後の要素の id に属している id を持つドキュメントが表示されます。たとえば、私が期待しているドキュメントの場合

しかし、実際には次のようになります。

バグですか、それとも何か間違ったことをしたのでしょうか? ありがとう

MarkLogic Content Pump (MLCP) の Java の例または JavaDoc はありますか?

問題なく Maven によって追加された MLCP 依存関係があります。

以下の編集を参照してください

MarkLogic Content Pump を使用してデータを ML8 データベースにロードします。すべてが問題ない開発環境と、処理するファイル数の評価に mlcp が渡されない製品があります。

読み込みたい JSON ドキュメントが 210 万あります。

開発サーバー (ML8 + CentOS6) では、次のように表示されます。

そして、正常に終了し、データのロードも正常に完了します。

ここで、取得した製品サーバー (ML8 + CentOS 7 ) の別のマシンで同じデータを使用します。

異なる OS に加えて、2.0.0 ではなく、製品サーバー 2.6.0 に mlcp のより新しいバージョンもあります。2000 個のファイルしかないディレクトリをインポートするために同じコマンドを使用すると、本番環境で機能します ...

処理するファイルの数をカウントすると、ジョブが停止します...

何が問題になる可能性がありますか?

編集を開始 mlcp を DEBUG に入れ、小さな samle.zip でテストしました

結果：

最初の json ファイルだけがデータベースにあり、残りはドロップ/失われますか?

JSONファイルの改行に問題はありますか?

どんなヒントも素晴らしいでしょう。

ヒューゴ

次の課題があります。mlcp を使用して MarkLogic データベースにロードする csv ファイルがあります。また、ロード中にロードされた行を OBI ソースに変換したいので、そのための変換関数を作成します。

今、私は変換に苦労しています。変換がなければ、データは期待どおり行ごとにドキュメントとして読み込まれます。

csv の例:

トランスフォーム救急車.xqy:

mlcp コマンド:

mlcp 出力:

xdmp:unquote() なしで試してみましたが、強制の document-node() エラーが発生しました...

ご意見をお聞かせください...

I try to load aggregated XML files using MLCP into ML8.

This is my data:

And this is the mlcp command I use:

The result on the command-line is this:

So I conclude that the element 'BerichtInhoud' is not found, I have tried to include the namespace like -aggregate_record_element cmd:BerichtInhoud.

Maybe it has something to do with this 'bug', although it's from january.
Loading data with mlcp - namespace issue

MarkLogic Content Pump を使用して XML ドキュメントを取り込みます。「-tranform モジュールと -transform 名前空間」オプションを使用して、mlcp 取り込みプロセスでこれらの xml ドキュメントを変換したいと考えています。変換用の XSLT を既に作成し、ML の「モジュール」データベースにもロードしました。しかし、mlcp は xslt ファイルを受け入れず、エラーをスローします。

指図：

以下のエラーがスローされます ERROR:

xslt 変換が mlcp で受け入れられるかどうかを知りたいですか? そうでない場合、代替手段は何ですか。

モジュールデータベースに同等の xqy ファイルを作成する MarkLogic。以下の「.xqy」ファイルを呼び出すと、パラメーターの不一致エラーがスローされます。これは、戻り値の型が間違っているためだと思います。