問題タブ [bulk-load]

本当に紛らわしい問題があります。データファイル XML、スキーマ、および SQL データベース接続文字列を渡す、作成した小さなアプリを使用して、 SQL 一括読み込みをテストしようとしています。

これは非常に単純なアプリです。コードの主要部分は次のとおりです。

ご覧のとおり、非常に単純ですが、この内容を渡すライブラリから次のエラーが発生しています: Interop.SQLXMLBULKLOADLib.dll。

メッセージは次のとおりです。

Failure: Attempted to read or write protected memory. This is often an indication that other memory has been corrupted

何が原因なのか、それが何を意味するのかさえわかりません。

これ以前に、SQLXML4.0 がインストールされていないために最初にエラーが発生したため、簡単に修正できました。次に、データベースに接続できなかったためエラーが発生しました (接続文字列が間違っています) - 修正されました。今、これがあり、私たちは困惑しています。

助けてくれてありがとう。私たちは本当に頭を悩ませています！

大きなファイルを PostgreSQL に一括ロードする必要があります。通常は COPY コマンドを使用しますが、このファイルはリモート クライアント マシンからロードする必要があります。MSSQL を使用すると、ローカル ツールをインストールし、クライアントで bcp.exe を使用してサーバーに接続できます。

PostgreSQL に同等の方法はありますか? そうでない場合、最初にファイルをサーバーにコピーできない場合、クライアント マシンから大きなファイルをロードする推奨される方法は何ですか?

ありがとう。

listプロパティを持つモデルがあります。

このような各リストデータを含むcsvがあります。

[u'1234567']

リストには、それぞれ1つのアイテムしかありません。

私のbulkloader.yamlはimport_transform：transform.none_if_empty（list）を設定しました。上記のリストプロパティを[u'['、u'u'、u "'"、u'1'、u'2'、u'3'、u'4'、u'5'、u'としてアップロードします。 6'、u'7'、u "'"、u']']

import_transformを正しくアップロードするには、どのように構成する必要がありますか？

ありがとう！

App Engineバルクローダー（Pythonランタイム）を使用して、エンティティをデータストアに一括アップロードしています。私がアップロードしているデータは独自の形式で保存されているので、bulkload_config.pyそれを中間のpython辞書に変換するために独自のコネクタ（に登録）によって実装しました。

このニュートラルなPythonディクショナリをデータストアエンティティに変換するには、YAMLで定義したカスタムのインポート後関数を使用します。

注：関数で使用entity_instance, bulkload_stateしていませんfeature_post_import。（に基づいてinput_dict）新しいデータストアエンティティを作成し、それらを返しています。

今、すべてがうまくいきます。ただし、データの一括読み込みのプロセスには時間がかかりすぎるようです。たとえば、1 GB（〜1,000,000エンティティ）のデータには約20時間かかります。バルクロードプロセスのパフォーマンスを改善するにはどうすればよいですか。私は何かが足りないのですか？

appcfg.pyで使用するパラメーターのいくつかは（スレッドあたり10エンティティのバッチサイズの10スレッド）です。

リンクされたGoogleAppEngine Pythonグループの投稿： http：//groups.google.com/group/google-appengine-python/browse_thread/thread/4c8def071a86c840

更新：一括読み込みプロセスのパフォーマンスをテストするためentitiesに、「テスト」を読み込みましたKind。これentityは非常に単純FloatPropertyですが、それらを一括ロードするのに同じ時間がかかりましたentities。

バルクローダーのパラメーター、、、を変更して、rps_limitさらにbandwidth_limitスループットhttp_limitが得られるかどうかを確認します。

巨大な CSV データセット (PostgreSQL の COPY を使用して Eclipse のフィルター処理された使用状況データ) をロードしましたが、正規化されていないため、膨大な量のスペースが必要です: TEXT 列の 3 つが、メインから参照されるように別々のテーブルにリファクタリングされ、はるかに効率的です。外部キー列を持つテーブル。

私の質問は、すべてのデータをロードした後にデータベースをリファクタリングする方が速いですか、それともすべての制約を使用して目的のテーブルを作成してからデータをロードする方が速いですか? 前者は巨大なテーブル (10^9 行近く) を繰り返しスキャンする必要があり、後者は CSV 行ごとに複数のクエリを実行する必要があります (たとえば、このアクション タイプは以前に見られたことがありますか? そうでない場合は、アクション テーブルに追加して、そのID、正しいアクション ID を使用してメイン テーブルに行を作成するなど）。

現在、各リファクタリングのステップにはおよそ 1 日ほどかかり、初期ロードにもほぼ同じ時間がかかります。

SQL Server 2005 のバルク ロードから次のエラー メッセージが表示されます。この問題を解決するためのアイデアを探していました。

行 2、列 4 (タイプ) の一括読み込みデータ変換エラー (指定されたコードページのタイプの不一致または無効な文字)。

何か案は？

ソース ファイルは変更できませんが、挿入先のテーブルは変更できます。(理由は聞かないでください。ただし、ID の末尾に小数が挿入されています。対処する必要があります。)

記事を飛び交うと、随所に「バルクロード」という表現が見られます。

それは本当に（技術的に）どういう意味ですか？

それは何を意味しますか？

ユースケースに基づく説明は大歓迎です。

HBase バルク ロード (configureIncrementalLoad ヘルパー メソッドを使用) は、hbase テーブル内のリージョンと同じ数のレデューサー タスクを作成するようにジョブを構成します。したがって、数百の領域がある場合、ジョブは数百のレデューサー タスクを生成します。これは、小さなクラスターでは非常に遅くなる可能性があります..

MultipleOutputFormat などを使用して回避策はありますか?

ありがとう

本当に 2 つの質問がありますが、どちらも同じトピックに関するものです。

フラット ファイルを作成し、このファイルを使用して、ファイルにリストされているユーザーを Active Directory の特定のグループにインポートできるようにする必要があります。グループに含まれていないだけで、AD には既に存在します。

それに加えて、同様の方法を使用して、別のフラット ファイルを使用して AD グループからユーザーを削除できるようにする必要もあります。

これはできますか？ユーザーのリストは 100 代になるので、手動で行う必要はありません....

バルク ロードを使用して、比較的単純な xml ファイルをテーブルとして SQL Server 2008 にロードしようとしています。私の主な問題は、一括読み込みで動作する XSD を作成することです。これが私の現在のXSDです。作成しようとしているテーブルには、nvarchar フィールドと datetime フィールドしかありません。

XSD の組み立て方に誤りがあることはわかっています。現在、XSD は機能していますが、バルク ロードでデータがロードされていません。

Bulk Load を使用して SQL Server に正常にロードできる XSD および XML ファイルの例を本当に探しています。これにより、最大長とデータ型を指定できます。XML にはいくつかの非標準文字が含まれるため、そのデータに使用しました。

以下は、私の XSD と XML のサンプルです。ありがとう。