問題タブ [bulkloader]

Google App Engine の Bulkloader を使用しようとしていますが、残念ながらドキュメントから何をすべきか理解できませんでした。この部分をapp.yamlに追加すると書かれています

ビルトイン: - remote_api: オン

わかりました追加しました。次に、このコマンドを実行する必要があると言います

appcfg.py の更新

しかし、appcfg.py ファイルがありません。また、この行を実行するコマンドは何ですか?

AppEngineLauncher を使用してプロジェクトをサーバーにアップロードしています。コマンドを使用して更新またはアップロードしました。

前もって感謝します..

次のコマンドを使用して、データストアからデータをダウンロードしようとしています。

この特定の種類/テーブルに多くのデータがない場合、データを一度にダウンロードできました。次のエラーが発生することがあります。

これは私がサーバーログに見るものです：

そのエラーが表示されたとき、私は単にダウンロードを再実行し、物事はうまくいくでしょう。

最近、私の種類のサイズが大きくなるにつれて、ダウンロードツールがはるかに頻繁に失敗することに気づいています。たとえば、エンティティが3500までの種類の場合、コマンドを5回実行する必要がありましたが、成功したのは最後の1つだけでした。このエラーを回避する方法はありますか？以前は、たまに失敗したためにスクリプトでダウンロードを自動化できなかったのが唯一の心配でした。今では、データをまったく取り出せなくなるのではないかと心配しています。

この問題については前にここで説明しました が、投稿は古く、提案されたフラグが何をするのかわかりません。したがって、同様のクエリを再度投稿します。

いくつかの追加の詳細。ここで述べたように、私は中断されたダウンロードを続行する提案を試みました（App Engineからのデータのダウンロードのセクションで）。中断後に再開すると、エラーは発生しませんが、ダウンロードされる行数は、データストア管理者が表示するエンティティ数よりも少なくなります。これは、次のメッセージが表示されます。

データストア管理者は、この特定の種類には最大4300のエンティティがあると言っています。残りのエンティティがダウンロードされないのはなぜですか？

ありがとう！

python bulkloader コマンドを実行して .CSV ファイルを Google App Engine にアップロードする方法と場所

バルクローダーを使用して、単純な CSV ファイル (2 列: タグ、値、7000 行) をデータストアの Google アプリ エンジンにアップロードしようとしています。http://code.google.com/intl/fr-FR/appengine/docs/python/tools/uploadingdata.htmlでトピックを読みました。

app.yaml ファイルに追加しました: builtins: - remote_api: on

次に、python コマンド "create_bulkloader_config -- filename=bulkloader.yaml" を実行しようとしましたが、どこに置くべきかわかりません: => python コマンド ラインで ? => Python IDLE では? => Command.exe ウィンドウで ? =>どこか？

次に、生成されたファイル bulkloader.yaml はどこで取得できますか? => ローカル ディスク上? API リモート パス上? どのようにキャッチするのですか?

これは確かに基本的な質問ですが、私は Python プログラマーではありません。環境を設定するには、段階的な説明が必要です。

Windows では Google アプリ エンジン ランチャー、Python 2.5 を使用しました。

http://appinventor.googlelabs.com/learn/reference/other/tinywebdb.htmlで提供されているコードを使用して、customtinywebdb サービスをセットアップしました。

手伝って頂けますか ？

前もって感謝します ！（開発のこの時点でブロックされています）。

バルクローダー機能を使用して適度なサイズの csv ファイルを Google App Engine にアップロードしようとしていますが、途中で次の結果が表示されます。

アップロードしようとしている 19,000 のエントリのうち約 700 がアップロードされますが、なぜ失敗するのか疑問に思っています。Python csvリーダーをスローする可能性のある追加のコンマや非ASCII文字が取り除かれたなどのエラーがないかcsvファイルをチェックしました。

私のプロジェクトでは、GAE データストアを使用してデータを保存しています。バックアップの目的で、データ全体を csv ファイルに完全にダウンロードするバルクローダーを使用することにしました。また、アップロードはエラーなしでデータを正常にアップロードします。

私の問題は、アップロードが既存のデータを更新せず、重複を作成することです。以下は、データストア ビューアの例です。

更新前:

更新後:

データストア エンティティでは、これをデータ ID として使用しています。

バルクローダーで既存のデータを実際に更新する方法はありますか?

ありがとう、アダム

昨日、App Engine データストアにアップロードしようとした位置情報データの 10 MB の CSV ファイルがあります。このブログ投稿の指示に従い、bulkloader/appcfg ツールを使用しました。データストアは、レコードがアップロードされたことを示していましたが、数時間かかり、その日の CPU クォータをすべて使い果たしました。実際にクォータを超える前に、プロセスは最後にエラーで中断しました。しかし、言うまでもなく、10 MB のデータにこれほど多くの時間と電力が必要になることはありません。

この CSV データを App Engine データストア (Java アプリ用) に取得する他の方法はありますか。

Ikai Lan がこの目的のために作成したマッパー ツールの使用についての投稿を見ましたが、かなり複雑に見えます。

代わりに、CSV を Google ドキュメントにアップロードするのはどうでしょうか。そこから App Engine データストアに転送する方法はありますか?

ここから BulkLoader クラスで画像ファイルをロードするスライドショーがあります。最初の画像が完全にロードされると、ステージに追加するために MovieClip コンテナーに追加されます。ボタンがクリックされた場合のみ、フルスクリーンで表示されます。

最初から呼び出される別の関数 loadAllSlides() で BulkLoader を使用して画像をロードします。

そして、読み込みプロセス中:

画像が完全に読み込まれる前に fullScreenButton がクリックされない限り、これは正常に機能し、もちろん何も表示されません。画像がコンテナにロード/追加されるまで待つために showFull() を呼び出すボタン クリック イベントを取得するにはどうすればよいですか、または再度追加するにはどうすればよいですか? 可能な/最良のアプローチは何ですか?

fullScreenButton がクリックされたときにコンテナに画像を再度追加するカスタム イベント「firstImgAdd」をディスパッチしてみました。また、try/catch ブロックまたは単純な if 条件を使用しても機能しませんでした。つまり、画像が取得されません。ボタンのクリックが早すぎると、読み込みが完了した後にコンテナに追加されます。どんな助けでも大歓迎です、事前に感謝します

つまり、参照付きの2つのモデルにデータを挿入するようにバルクローダーを構成するにはどうすればよいですか？

私には人と果物のクラスがあり、人は果物にリンクしています：

そして、このCSVデータをアップロードしたいと思います。

ドキュメントのようにcreate_foreign_keyを使用してみました：

コマンドを実行すると：

人物がアップロードされ、果物の外部キーがありますが、彼らが指す果物のエンティティは存在しません。

試し--kind=fruitてみると果物がアップロードされていますが、重複がたくさんあります。

私は人を果物にリンクしようとしていますが、果物は重複していません-これはバルクローダーを介して可能ですか？

大きなセルを含むCSVファイルをインポートすると、バルクローダーで次のエラーが発生します。

これはcsvモジュールの一般的な問題であり、次の方法で修正できます。

バルクローダーにこれを実行させるにはどうすればよいですか？

重複の可能性:
アプリ エンジンのバルク ローダー ダウンロードの警告「キーに降順のインデックスがありません。シリアル ダウンロードを実行しています」

私の投稿は非常に似ています: App Engine バルク ローダー ダウンロードの警告「__key__ に降順インデックスがありません。シリアル ダウンロードを実行しています」

私は本質的に同じことをしたいです。

基本的に、私は以下を使用して、私の種類の 1 つのすべてのインスタンスをダウンロードしています。

種類にバッチサイズよりも多くのインスタンスがある場合、次の警告が表示されます。

これにより、約 6500 エンティティのダウンロードに 471.4 秒かかります (完了後のバルクローダー ツールによると)。これよりもさらに大きな種類が他に約 4 つあります (約 15,000 エンティティ)。

また、Mac のアクティビティ モニターによると、バルクローダー出力の帯域幅が示すように、約 24Kb/秒でしかダウンロードしていません。

私の質問は次のとおりです。

1) 並列ダウンロード速度を得るために、この警告「__key__ に降順インデックスがありません。シリアル ダウンロードを実行しています」を取り除くにはどうすればよいですか?

私の質問に対する答えは、降順のインデックスを追加することだと思います。何かのようなもの：

これを datastore-indexes.xml ファイルに追加してみました。

正常にデプロイされましたが、Google の管理ポータルでデータストア インデックスを確認しましたが、サービスが提供されていたり、構築されていたりすることはありませんでした。とにかく、それのために、以下のコマンドを再実行しましたが、それでも遅かったです....

また、同じ xml を source="auto" で datastore-indexes-auto.xml ファイルに追加しようとしました。ただし、Eclipse をデプロイしようとすると、次のエラーが表示されました。

2) この警告を削除するには、自動生成された bulkloader.yaml を更新する必要がありますか? 以下にゲームの種類を含めました。

便利な検索

この質問を入力していたとき。このApp Engine Bulk Loader Performanceを見つけました

基本的には、bandwidth_limitを妥当なものに増やし、rps_limitを増やすと実際に速度が向上することを説明しています。

だから私は試しました：

これにより、ダウンロード時間が 109.8 秒に短縮されました。大幅値下げです！

ただし、私の目標は、並列ダウンロードの「__キー__で降順のインデックスがありません。シリアルダウンロードを実行しています」を取り除くことにまだ焦点を当てています。

関連する可能性がある場合の追加情報

objectify3.0.jar を使用して GAE データストアを操作しています。したがって、私のゲームの種類は次のようになります。