問題タブ [bulkloader]

こんにちは、Google アプリ エンジンでサンプルの Greeting アプリケーションを作成しました。

現在、バルクローダーを使用してデータをアップロードしようとしています。

しかし、BadRequestError.This はそのためのコードです。

バルクローダーを使用して、自己定義されたプロパティを持つモデル内のすべてのエンティティをダウンロードしたいと思います。

このようなモデルを定義すると、

次に、ファイルに選択されていない値がないようにMyModel、バルクローダーを使用してダウンロードするにはどうすればよいですか？をbulkloader.yamlで定義する必要があると思いますが、どのようにすべきかわかりません。export_transforminfo

transform.pyを見たことがありますが、それがどのように機能するかはまだわかりません。私の問題を解決できる方法を教えてください。ありがとう。

PythonGeoModelクラスとバルクローダーを使用しようとしています。私は以下post_import_functionを呼び出していますが、これは正常に機能し、エンティティは場所フィールドが適切に設定されて更新されます。

しかし、私がする必要があるのはentity_instance.update_location()、データストアに保存する前にエンティティを呼び出すことです。ただし、GeoModelのentity_instanceサブクラスではなくエンティティであるため、これを行う方法がわかりません。しばらく前に、コードをインライン化するか、関数を呼び出してエンティティを渡すという投稿がありましたが、それが何を意味するのかわかりません。

ヘルプ/サンプルコードをありがとう。

別のStackOverflowの質問と同様に、TextPropertyをインポートしようとしています（http://stackoverflow.com/questions/3434090/app-engine-badvalueerror-on-bulk-data-upload-textproperty-being-construed-as-s）

import_transform：db.Textを追加した後も、エラーが発生します。story_htmlはTextProperty（）です

私のBulkloader.yamlファイル。

私のModels.pyファイル

そして私のloaders.pyファイル

問題：

バルクローダーでデータを保存すると、メソッド DecimalProperty.get_value_for_datastore が呼び出されることはありません。データストアに 5.4 を保存すると、次のように保存されます: 5.4; これは get_value_for_datastore と考えて渡され、次のような整数に変換される必要があります: 54000; 10 進数の後に 4 桁が必要なので、5.4 * 10000 = 54000; 次に戻る 54000/10000 = 5.4

私はモデルを持っています:

10 進数クラス

私のバルクローダーは次のとおりです。

そして私のcsvファイルは次のようなものです：

ノート：

バルクローダー Decimal を入れた場合:

次のエラーが表示されます。

非常に汚い解決策：

DerbyIn-MemoryDBを使用しています。最初にcsvファイルからデータの読み込みを実行する必要があります。今のところ、すべてのcsvファイルをテーブルにロードするのに約25秒かかります。時間を短縮できるといいですね。データファイルのため、実際にはそれほど大きくありません。

私がやったことは、ダービーの組み込みの手順を使用することです。

唯一の特別なことは、1つのテーブルのデータが多くの小さなcsvファイルに分割されることです。だから私はそれらを一つずつロードする必要がありますそして私はそれらを一緒に組み合わせることができるかどうかをテストしました、それは16秒しかかかりません。ただし、この機能はユーザーが必要としているため、削除できません。

データの読み込み時間を短縮するためにできることはありますか？ログを無効にするか、ユーザー定義の関数/手順を書き込む必要がありますか、それとも他の調整を行うことができますか？どんなアドバイスでも大丈夫です。

ありがとう！

AppEngine Bulkloaderのドキュメントには、「ハイレプリケーションデータストアからコピーしようとすると、管理コンソールにhigh_replication_warningエラーが表示され、ダウンロードしたデータに最近保存されたエンティティが含まれていない可能性があります」と記載されています。それらが「最近保存されたエンティティ」とはどのくらい最近の意味であるか、何か考えはありますか？

空間インデックスを一括読み込みするために、ヒルベルト次数で d 次元のデータ ベクトルを並べ替えようとしています。

ただし、各点のヒルベルト値を明示的に計算したくはありません。特に、特定の精度を設定する必要があります。高次元データでは、これには32*dビットなどの精度が含まれ、効率的に行うには非常に面倒です。データが不均一に分布している場合、これらの計算の一部は不要であり、データ セットの一部に特別な精度が必要になります。

代わりに、パーティショニング アプローチを実行しようとしています。2次元の一次ヒルベルト曲線を見ると

まず x 軸に沿ってデータを分割し、最初の部分 (必ずしもオブジェクトの半分を含むとは限りません!) が 1 と 2 (まだソートされていない) で構成され、2 番目の部分が 3 と 4 のオブジェクトを持つようにします。それだけ。次に、Y 軸で各半分をもう一度分割しますが、順序を 3-4 に逆にします。

したがって、基本的には、分割統治戦略 (QuickSort と密接に関連しています。均等に分散されたデータでは、これは最適であるはずです!) を実行し、必要に応じてヒルベルト インデックスの必要な「ビット」のみを計算します。したがって、「1」に単一のオブジェクトがあると仮定すると、その完全な表現を計算する必要はありません。オブジェクトが均等に分散されている場合、パーティションのサイズはすぐに減少します。

私は、長いグレーコーディングの次元インターリーブに変換する通常の教科書的なアプローチを知っています。これは私が探しているものではありません (利用可能な例はたくさんあります)。私は明示的に遅延分割統治ソートのみを望んでいます。さらに、2D 以上が必要です。

このように機能する記事またはヒルベルトソートアルゴリズムを知っている人はいますか? または、「回転」を正しく行う方法、どの表現を選択するかという重要なアイデアはありますか? 特に高次元では... 2Dでは些細なことです。1 は +y、+x の回転、4 は -y、-x (回転と反転) です。しかし、より高い次元では、これはよりトリッキーになると思います。

(もちろん、結果は、オブジェクトをヒルベルト次数で十分に大きな精度でソートした場合と同じになるはずです。必要のないときに完全な表現を計算し、それを管理する時間を節約しようとしているだけです。多くの人々は、かなり高価な「ヒルベルト数へのオブジェクト」ハッシュマップを保持しています。)

Peano 曲線と Z 曲線についても同様のアプローチが可能であり、おそらく実装が少し簡単です...おそらく最初にこれらを試す必要があります (Z 曲線は既に機能しています。仮想ピボットとしての適切な平均/グリッド値と各反復の次元の循環)。

編集：Zおよびpeano曲線でどのように解決したかについては、以下を参照してください。また、すでに 2D ヒルベルト曲線に対しても機能しています。しかし、ヒルベルト曲線の回転と反転はまだ正しくありません。

私が把握したところによると、bulkloader.yaml ファイルのプロパティにデフォルト値を割り当てるのは簡単ではありません。デフォルト値を設定する 1 つの方法は、独自の関数を作成することであることを学びました。

そこで、transform.none_if_empty(int) 関数を変更して、None ではなく「in queue」という文字列を返すようにしました。

ただし、input_transform は関数のみを受け入れるため、渡したいすべての種類のデフォルト値に対して新しい関数を作成する必要がないように、デフォルト値を渡すことができるかどうか疑問に思っていました.IE:

等

ありがとう！

私はこの日時を持っています2011-07-02 03:03:32.793

Python 2.5バージョン（ここで言及）のミリ秒の問題に対処するために、切り捨てて日時を次のように変換しようとします：

これら 2 つの import_transform を 1 行で記述するにはどうすればよいですか?