問題タブ [bulkloader]

あなたのアセット（画像pngファイル）があなたのウェブパスから削除されるという状況に遭遇したことはありますか？

もう少し明確に説明させてください。

ローダーとBulkLoaderを使用して、ローカルホスト（flex4アプリケーションパスではなく）にあるいくつかの画像をflex4アプリケーションからロードしています。

ローカルホストにあるパスから一部のイメージが削除されたのはこれが2回目です。

何が原因なのかわかりませんか？それはローダーですか？またはバルクローダーまたはWebサーバー？（WAMP）またはウイルス？

過去7日間で2回目です。リモートホストにコピーがあったので、簡単に取り戻すことができてラッキーでした。しかし、それは何を、そしてなぜそれが削除されているのかというミストリーです。

これを引き起こした可能性のある考えはありますか？または、ローダーまたはバルクローダーのバグを知っている人はいますか？

appcfg.py を使用して csv ファイルをデータストアにアップロードしようとしています。私が使用しているコマンドは次のとおりです。

appcfg.py upload_data --application=s~hay-fe --kind=CasillaFinal --filename=CasillaFinal.csv --url=http://hay-fe.appspot.com/remote_api --config_file=bulkloader.yaml

次に、次のエラーが表示されます。

BadArgumentError: 引数 2 として整数 ID または文字列名が必要です。None (NoneType) を受け取りました。

これは私の CasillaFinal.csv です: http://pastebin.com/embed_js.php?i=7dp24Yn1

これが私のbulkloader.yamlです: http://pastebin.com/embed_js.php?i=iPE8PcZQ

インポート用の変換がないため、問題は最初の列 (ID) にあると思いますが、この変換を行う方法がわかりません。

ここに、「テーブル」の Java 定義があります。

ご覧のとおり、永続化のために objectify を使用しています。

ちなみに、データストア管理の順序はcsvファイルの順序と同じではないため、列の順序が重要かどうかを知りたいです。データストアでの順序は次のとおりです。

id|casillaEspecial|claveEntidad|claveMunicipio|distrito|domicilio|latitud|letraFinal|letraInicial|longitud|municipio|refencia|seccion|tipoCasilla|ubicacion

一方、csv では次のようになります。

id|claveEntidad|Seccion|tipoCasilla|domicilio|ubicacion|reference|latitud|longitud|distrito|claveMunicipio|municipio|letraInicial|letraFinal|casillaEspecial

最後に、エラーが引数 2 にあるとエラーが示しているため、順序インデックスが 0 または 1 から始まるかどうかを知りたいです (引数 2 として整数 ID または文字列名が必要です)。

appcfg.py を使用して csv ファイルからデータストアにデータをインポートしています

私の問題は、データストアに挿入された ID 値が csv ファイルの値と異なることです。

エラーはbulkloader.yamlにあると思います。値をインポートする方法がわかりません。

これは私の csv ファイルです: http://pastebin.com/embed_js.php?i=xC9UVVty

これは私のbulkloader.yamlです: http://pastebin.com/embed_js.php?i=W3t9c6qd

そして、これはデータストアの結果です:

ご覧のとおり、csv ファイルの ID は 1,2,3 ですが、データストアでは 1121、1122、1123 です。

どうか助けていただければ幸いです。

ありがとう。

bulkuploader を使用してデータストアにデータをアップロードしているときに、このエラーが発生します。データは以前の csv ファイルで正常にアップロードされていました。新しい csv ファイルには、文字列のリストを含む追加フィールドがあります。(例: A、B、E、G、E、F)。以下は私が得るエラーです。

そのため、バルクローダーを使用して親を持つエンティティを作成しようとしています。

私はクライアントエンティティを持っています:

そして、クライアントの子としてデータエンティティを作成したいと思います。

クライアント エンティティが存在します。Data.yaml は (プリアンブルなし):

transform.create_foreign_key または transform.create_deep_key のいずれかを使用する必要があることを理解しています。私が理解していないのは、クライアント エンティティ (親) について通知する方法です。

Google App Engine で appcfg.py によるデータのバルクロード中にデータストア エンティティの親を設定する方法について議論されているような質問を見つけました。、しかし「コード構成」は廃止されました。

ありがとう

アプリ エンジンを使用しbulkloaderて CSV ファイルをデータストアにインポートしています。1 つにマージしたい列がいくつかあります。たとえば、それらはすべて URL ですが、すべてが提供されているわけではなく、代わりの順序があります。

私が言いたいのは、「OK、url_main存在する場合はそれを使用し、そうでない場合はユーザーurl_testを使用してから使用するurl_temp」

したがって、列を参照し、条件に基づいてそれらを 1 つにマージするカスタム インポート変換を作成することは可能ですか?

os.environ私は、アプリケーションが使用する必要がある構成 (ホストごとに異なる API キーなど) を解決するために、python に依存しています。

バルクローダーはこれらの変数にアクセスできないようですが、バルクローダーが実行されているときにアプリケーションの現在のバージョンまたは現在のホストが何であるかを知ることはできますか?

通常、私はこれを my で行いますconfig_helper:

また、bulkloader が に関する KeyError を報告したCURRENT_VERSION_IDので、これを使用しました。

ただし、バルクローダーは、それが無効なオブジェクトであることを訴え、SERVER_NAMEそれも見つからないことを意味しますHTTP_HOST。

他のアイデアはありますか？

私はbulkloader.yamlに次のコードがあります：

models.py：

アップロードファイル（csv）：

しかし、次のエラーが発生します。

これにより、App Engine で最大 600 個のエンティティが取得されます。私の開発サーバーでは期待どおりに動作し、index.yaml をビルドし、それをアップロードしてサーバーでテストしますが、アプリ エンジンでは何も返されません。

データストア ビューアでクエリを分割して、問題がどこにあるかを確認し、タイムスタンプの制約が期待どおりに機能することを確認しました。WHERE title = 'mystring'一連のエンティティを返す必要がある場合、クエリは何も返しません。

プロパティと演算子の間のスペースで呼び出さなければならない面倒なフィルタリングを漠然と覚えていますが.filter("prop =",propValue)、これはGqlQueryであるため、そうではありません（GQLでもその形式を試しました）。

私の問題が何か知っている人はいますか？

考えられることの 1 つは、開発サーバーで新しいインデックスを作成してアップロードする前に、BulkLoader.py を介して MyEntity エンティティのリストをアプリに追加したことです。それは違いを生むでしょうか？

バルク ロード ツールを使用してデータストアにインポートする必要がある非常に大きな gzip csv ファイル (約 500 GB) があります。最初に解凍しなくても可能ですか？はいの場合、bulkload.yaml ファイルをどのように構成する必要がありますか?