0

ローダー クラスとリモート API を介して App Engine (開発サーバーではない) にデータをアップロードしていましたが、CSV ファイルの途中でクォータに達しました。ログと進行状況の sqllite db に基づいて、アップロードするデータの残りの部分を選択するにはどうすればよいですか?

何十ものレコードを調べて、どれが転送され、どれが転送されていないかを判断するのは魅力的な作業ではないため、チェックする必要があるレコードの数を制限する方法を探しています.

関連する（IMO）ログ部分は次のとおりです。作業項目番号を解釈する方法は？

[DEBUG    2010-03-30 03:22:51,757 bulkloader.py] [Thread-2] [1041-1050] Transferred 10 entities in 3.9 seconds
[DEBUG    2010-03-30 03:22:51,757 adaptive_thread_pool.py] [Thread-2] Got work item [1071-1080]
<cut>
[DEBUG    2010-03-30 03:23:09,194 bulkloader.py] [Thread-1] [1141-1150] Transferred 10 entities in 4.6 seconds
[DEBUG    2010-03-30 03:23:09,194 adaptive_thread_pool.py] [Thread-1] Got work item [1161-1170]
<cut>
[DEBUG    2010-03-30 03:23:09,226 bulkloader.py] [Thread-3] [1151-1160] Transferred 10 entities in 4.2 seconds
[DEBUG    2010-03-30 03:23:09,226 adaptive_thread_pool.py] [Thread-3] Got work item [1171-1180]
[ERROR    2010-03-30 03:23:10,174 bulkloader.py] Retrying on non-fatal HTTP error: 503 Service Unavailable
4

1 に答える 1

1

壊れたアップロードを再開できます。

転送が中断された場合は、 --db_filename=... 引数を使用して中断したところから転送を再開できます。値は、ツールによって作成された進行状況ファイルの名前です。これは、転送を開始したときに --db_filename 引数で指定した名前か、タイムスタンプを含むデフォルトの名前です。これは、sqlite3 がインストールされていて、--db_filename=skip で進行状況ファイルを無効にしていないことを前提としています。

于 2010-03-30T18:55:47.857 に答える