問題タブ [bulkloader]

公式に提供されているバルクローダーオプションを使用することに成功しなかったので、独自のバルクローダースクリプト（実際には、csvからデータストアにエンティティを段階的にロードするポストハンドラー）を作成しました。

解決策は次のように機能しました：
1。csvファイルからデータをコピーします
2.アプリのフォームのテキスト領域に貼り付けます
3.フォームを投稿します
4.ハンドラーはヘッダー（列名）の受信テキストを解析します
5 。残りの行をリスト
6に格納します。リストから100行を段階的にフェッチし、行ごとにエンティティを作成して格納します（エンティティのタイプは、フォームの選択フィールドから指定されたタイプから解決されます）

現在、この手法は、最大1000行の小さな入力に対して、開発サーバーで機能します。それを超えると、次のエラーが表示されます。

トレースバック（最後の最後の呼び出し）：
ファイル "/ host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / ext / webapp / init .py"、行513、呼び出し
ファイル "/ host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / myApps / ugvotes / ugvotes.py "、241行目、投稿
ファイル" / host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / ext / db / init .py "、行893、プット
ファイル" / host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / datastore.py "、行291、プット
ファイル" / host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / datastore.py "、195行目、_MakeSyncCall
ファイル"/host/_Hive/Lab/ACTIVEWORKS / UG VOTES / google_appengine / google / appengine / api / apiproxy_stub_map.py"、行499、check_success
ファイル "/ host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / apiproxy_rpc.py "、149行目、_WaitImpl
ファイル" /host/_Hive/Lab/ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / datastore_file_stub.py "、863行目、MakeSyncCall
ファイル"/host/_Hive/Lab/ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / apiproxy_stub.py"、80行目、MakeSyncCall
ファイル "/ host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google /appengine/api/datastore_file_stub.py "、行933、_Dynamic_Put
ファイル"/host/_Hive/Lab/ACTIVEWORKS / UG VOTES / google_appengine / google / appengine / api / datastore_file_stub.py"、行806、__WriteDatastore
ファイル"/ host / _Hive / Lab / ACTIVE WORKS / UG VOTES / google_appengine / google / appengine / api / datastore_file_stub.py "、836行目、__ WritePickled
IOError：[Errno 24]開いているファイルが多すぎます：'/ tmp / tmpOfgvm3'

最初は開発サーバーの制限によるエラーだと思っていましたが、本番サーバーから同じタスクを実行しようとすると、次のエラーが発生しました。

エラー：サーバーエラーサーバーでエラーが発生し、リクエストを完了できませんでした。

問題が解決しない場合は、問題を報告し、このエラーメッセージとその原因となったクエリについて説明してください。

何がうまくいかなかったのか、そして私がそれについて何ができるのか誰が知っていますか？

ありがとう。

以前は自分のプロジェクトでバルクローダーを正常に使用していましたが、最近、レコードが変更されたときにタイムスタンプに新しいフィールドを追加しました。ただし、この新しいフィールドはデフォルトで null に設定されているため、問題が発生しています。インポートする前に csv にタイムスタンプを手動で挿入する以外に、現在の正しいデータを挿入する方法はありますか? import_transform 行に目を向ける必要があると思いますが、Python については何も知りません (私のアプリは Java です)。

理想的には、現在のタイムスタンプ (エポックからのミリ秒) を自動的に挿入したいと思います。それが自明でない場合は、インポートを実行する前に、変換ステートメントで値を静的に設定してください。ありがとう。

ローカルで効率的に操作できるように、App Engine データをダウンロードしたいと考えています (それに基づいていくつかの PDF を生成しています)。ReferenceProperty の列が、キーや ID だけでなく、参照モデルの特定のプロパティによって設定されるように定義するにはどうすればよいですか?

ここに私のモデルクラスがあります:

ただし、bulkloader.yaml に property_map を次のように記述しましたが、

私はいつもCSVの部門キーで終わります

例えば

部門モデルの「名前」プロパティによって部門列が入力されるように定義するにはどうすればよいですか?

例えば

ありがとう、ポール

Google App Engine にアップロードするデータがかなりあります。バルクローダーを使用して、そこに入れるのを助けたいです。ただし、データが多すぎるため、通常、処理が完了する前に CPU クォータを使い果たします。また、インターネット接続の不良やランダムなコンピューターの問題など、他の問題が発生すると、プロセスが停止する可能性があります.

中断したところからバルクロードを続行する方法はありますか? または、データストアに書き込まれていないデータのみをバルクロードするには?

ドキュメントには何も見つからなかったので、答えにはコードの掘り下げが含まれると思います。

私のモデルには、次のプロパティがあります。

このタイプのオブジェクトがデータストアに作成されると、作成されたプロパティが自動的に設定されます。

このフィールドを持たないテーブルでバルク ローダー ツールを使用すると、AppEngine にアップロードするときにフィールドが自動的に入力されず、その時点で新しいオブジェクトが作成されます。

バルクローダーからアップロードされた新しいオブジェクトに作成時間を設定するにはどうすればよいですか?

すべてのログを「appcfg.py」のファイルにダウンロードしたいのですが。

app.yamlは使用しませんが、非常に単純なものを作成しました。

私はこのコマンドを使用します：

そして私はいつも得る：

すべてのログをダウンロードするにはどうすればよいですか？

CSV をデータストアにインポートし、インポート中にカスタム アクション (インデックスの生成、計算の実行など) を使用してフィールド StringListProperty を生成したいと考えています。質問Override save, put, get, etc... Methods in Google App Engineで説明されているように、モデルの put() メソッドをオーバーライドしようとしましたが、バルクローダーのインポート中にこれは効果がありません。

MySqlBulkLoaderをトランザクションで使用できますか？ローダーのインスタンスにトランザクションを明示的にアタッチする方法がわかりません。別の方法はありますか？

バルクアップローダーを使用して、AppEngineデータストアにデータをアップロードしようとしています。私のエンティティタイプの1つには、別のプロパティから計算される1つのプロパティがあるため、この計算を行うためにインポートされる各エンティティに対して、後処理を実行したいと思います。post_import_function変換タグについての簡単な言及がありますが、実際の包括的なドキュメントや例はありません。

今のところ、post_import_functionを機能させるためだけに簡単なテストを実行しようとしています。

私のエンティティモデル：

私のbulkloader.yamlファイルの関連部分は次のようになります：

そして私のpost_process_testentity関数：

これらすべてを使用してデータのアップロードを行うと、エラーは発生しません（正しく実行されたいくつかの印刷ステートメントを内部に追加したため、post_process_testentityが入力されていることがわかります）。後処理機能がまったく効果がないことを除いて、アップロードに関するすべてが機能します。データビューアを使用すると、データストアに「Hellothere！」が表示されません。

誰かが私を少し助けてくれませんか？ありがとうございました！

データストア全体をファイルにダウンロードし、データストアにアップロードして情報を失わないようにする方法を見つけようとしています。そのため、私はそれについていくつかの調査を行い、これを行うには2つの既存の方法があることを発見しました.

1. 別のアプリケーションである Gaebar。
2. アプリ エンジン自体のバルクローダー。

エクスポートしようとしているデータは非常に大きいです。では、どちらを使用すればよいでしょうか。

前もって感謝します..