私はデータベースを Mongo 3.0 にアップグレードする過程にあり、毎日のバックアップ プロセスをmongodump 2.6.1 から 3.0.1 にアップグレードする段階にあり、並列化されたコレクションのダウンロードによりパフォーマンスが向上しています。
mongodump がエラーで途中で失敗するという問題が発生しています
....
2015-04-10T00:42:54.606+0000 [##############..........] XXX.XXXXXXX 6804841/11236617 (60.6%)
2015-04-10T00:42:57.352+0000 Failed: error reading collection: Closed explicitly.
8回の試行のうち、6回は失敗し、2回は成功しました。この特定のエラーについてオンラインで他に何も見つけることができませんでした。
- mongodump 全体のサイズは約 1 TB で、数千のコレクションがあります。障害は途中で発生します。多くのファイルがディスクに蓄積し始めると、 mongodumpは実際に起動し、
.bsonmongodump の出力で進行状況ファイルを確認できます。- 150GB の mongo 2.4 インスタンスに対して同じコードを実行すると、うまくいくように見えますが、エラーが発生するほど長く実行されていない可能性があります。
- 私がダンプしている mongo データベースのバージョンは 2.4 です。2.4 -> 2.6 -> 3.0 にアップグレードする予定です。そのため、事前に mongodump ツールをアップグレードして、2.4 および 2.6 に対して正常に動作することを期待しました。
- 現在のバックアップ サーバーは、2.4 mongo データベースに対して mongodump 2.6.1 を使用しており、バックアップ パイプラインの mongodump ステージで 100% の信頼性を維持しています。
mongodump バックアップ サーバー (Google コンピューティング エンジン VM) は、mongo サーバー (ハード メタル サーバー) とは別のマシンにあり、mongo サーバーはファイアウォールの背後にあります。そのため、2 台のマシン間に SSH トンネルを確立し、コマンドで mongodump を実行し
--portます。次のようになります。ssh -M -N -L 1234:localhost:27017 <remote_ip> mongodump --port 1234 --username XXX --password XXX --out /tmp/dir
何が起こっているのかについて、誰かが私にいくつかのヒントを与えることができますか? mongo データベースが 3.0 に完全にアップグレードされたら、mongodump 3.0 を使用する必要があります。
更新:私が得ている別のエラーは
2015-04-14T22:56:37.939+0000 Failed: error reading collection: read tcp XXX.X.X.X:XXXXX: use of closed network connection