バルクローダーを使用してデータを App-Engine サーバーにロードしようとしています。Python 2.5 を使用して次のコマンドを実行します。

しかし、この認証エラーで失敗します:-

私の考えは、開発サーバーから一括ダウンロードを行い、このダンプを使用して app-engine サーバーにアップロードすることです。一括ダウンロードはうまくいきました。私はこれにこのフォーマットを使用しました:-

しかし、一括アップロードは失敗します。いくつかのこと: 一括ダウンロードではユーザー ID とパスワードを要求されましたが、一括アップロードでは要求されませんでした。また、私は現在、多く言及されている app.yaml ファイルを持っていません。これを行うには 1 つ必要ですか?

助けてくれてありがとう。M.

EDIT これに苦労している他の人にとって、問題は確かにプロキシサーバーの背後にありましたが、上記のものに別の「エラー」がありました. app-id には、「s~」ビットを追加する必要があります。

空のデータストアから、bulkloader.yamlファイルを自動生成できました。のみが含まれていますpython_preambleが、transformersセクションは空でした。

次に、ドキュメントの例に基づいて、CSV の各列のプロパティ マップを定義する必要があります。

2 つの質問:

私の理解では、 として定義された関数は、通常の CSV 文字列をデータストアに値するプロパティ クラスimport_transformに変換します。変換がどのように機能するかを理解したいので、2 つの選択肢があると思います。

1. のライブラリ リファレンスはどこにありgoogle.appengine.ext.bulkload.transformますか? の使い方を知りtransform.some_undocumented_functionたいtransform.some_other_undocumented_transformers

2. python_preambleあなたは私からそれを見ることができます- import: my_own_transformers。transform_dateそのモジュールでは、 などの ISO 日付文字列を受け取り、2001-01-01それを に適合する型に変換する関数を定義しましたdb.DateProperty()。私のコンセプトが正しければ、次のものを使用できますか:

現在、私はTeamデータストアに常駐しています。

また、ローカルコンピューターに次のCSVファイルがあります。

私bulkloader.yamlはこのように見えます：

私は次のmodels.pyようなものを書きました：

私も書いたmy_transforms.py：

質問：Character CSVファイルをアップロードして、がデータストアに入るときにparentプロパティが割り当てられる ようにするにはどうすればよいteamですか？

プロジェクトがあり、いくつかの構成ファイルをロードするためFlash Builderに使用します。BulkloaderFlash Builder またはサーバーでプロジェクトを実行すると、すべてが期待どおりに機能しますが、別の場所 (「マイドキュメント」など) から SWF を実行すると、プロジェクトは XML をロードできません。

これがセキュリティ上の問題なのか、それとも同様のものなのかはわかりません。

前もって感謝します！

私は単純なはずのことをやっていて、何度も何度も立ち往生しています。非常に単純なcsvファイルを開発サーバーにアップロードすると、次のエラーが発生します。

正確な出力は次のとおりです。

これはapp.yamlファイルです：

これは、アップロードを実行するためのシェル呼び出しです。

これはアップローダーコードです：

そしてこれはcols.csvファイルです：

どんな助けでも大歓迎です。私は自分が間違っていることを理解できません。

MacOsxLeopardでAppengine1.5.2を使用しています。私はPython2.5.4と2.6.6の両方を試しました（念のため）。

よろしくお願いします！

私のbulkloader.yamlは次のようになります:

私のmodels.pyは次のようになります

ローカル開発サーバーにデータをアップロードしました。 http://localhost:9999/_ah/admin/datastoreを使用してデータを表示できます。したがって、データがアップロードされて存在します。外部キーも表示されます。

親オブジェクトに基づく子データにアクセスできません。空に戻ります。以下に貼り付けたのは、ローカル開発データストアのインタラクティブ コンソールで実行したものです。

出力：

ここに私が持っているものがあります:

これは期待どおりに機能しますが、「--passin」を導入すると、標準入力に正しく入れられないようです。私は次のことを試しました：

としても

そして私も試しました（暗闇でのショットで）

Windows 7 マシンでこれを実行しようとしていることに気付いたかもしれません。

これは可能ですか？

アップデート：

これを投稿して別の形式で読んだ後、プロセスを待っていないことに気付きました。

解決策は次のとおりです。

それは完璧に機能します。私は待っていなかったので、すでに終了していたので、Pythonがサブプロセスに何も注入していなかったと仮定しています。

GAE Java dev サーバーにデータをアップロードできません。Bulkloader はパスワードを要求しますが、一致するパスワードがありません:

次に、 Java dev サーバーでパスワードを使用して資格情報を作成する方法、またはパスワード要件をバイパスする方法は?

ここから回答を読みました開発サーバーで Google App Engine BulkLoader にどの資格情報を入力する必要がありますか? この問題のコメントhttp://code.google.com/p/googleappengine/issues/detail?id=2440 しかし、それはすべて Java ではなく Python 開発サーバーに関するものです。

現在のdjangonon-relと、現在はデフォルトの高レプリケーションデータストアを使用して、GoogleAppEngineでアプリケーションを開発しています。現在、次のコマンドを使用して、開発インスタンスにローカルで180MBのcsvファイルを一括ロードしようとしています。

Bulkloader.yaml

CSVの切り捨てられた1000レコードバージョンでは、バルクロードは実際には成功しますが、フルセットは最終的に停止し、エラーが発生し始め、「バックオフ」して、ますます長く待機します。私が実際に尾を引いたbulkloader-logは、役立つものを何も明らかにせず、サーバーのstderrも明らかにします。

このバルクロードプロセスを理解する上での助けをいただければ幸いです。私の計画では、最終的にビッグデータセットをGoogleデータストアにロードできるようにする予定ですが、これは有望ではありません。

App Engine バルクローダーを使用して、データストアからエンティティをダウンロードしようとしています (重要な場合は高レプリケーションのもの)。動作しますが、かなり遅いです (85KB/s)。高速化するために渡すことができる魔法のパラメータセットはありますか? 私は約 5MB/分または 20,000 レコード/分を受信して​​います。私の接続が 1MB/秒で処理できることを考えると (App Engine がそれよりも高速に処理できることを願っています)、それを高速化する方法が必要です。

これが私の現在のコマンドです。高い数値、低い数値、およびすべての順列を試しました。

このApp Engine Bulk Loader Performanceを既に試しました が、既に持っているものよりも高速ではありません。彼が言及している数は、私が見ているものと同等です.

前もって感謝します。