問題タブ [custom-training]

Tensorflow2 Custom Object Detector のトレーニング中に、トレーニング プロセスの評価に問題があります。この問題に関連するいくつかの問題を読んだ後、評価とトレーニングを 2 つの別個のプロセスとして扱う必要があることがわかりました。そのため、評価ジョブを開始するには新しい anaconda プロンプトを使用する必要があります。ssd_mobilenetv2 640x640 バージョンでトレーニングしています。私のパイプライン構成:

次のコマンドでトレーニングを開始しました。

評価例数を設定することで、評価作業を開始する効果があることを期待していました。いずれにせよ、別のターミナル ウィンドウで評価を実行しようとしました:python model_main_tf2.py --model_dir=models/my_ssd2_3 --pipeline_config_path=models/my_ssd2_3/pipeline.config --checkpoint_dir=models/my_ssd2_3/ --alsologtostderr
評価を開始するとすぐに、トレーニング ジョブが次のエラーでクラッシュします:エラー

十分なハードウェアを持っていないと思う問題:

1. 8GBのRAM
2. NVIDIDA GTX960M (2GB RAM)

私が使用するすべての入力画像が 3000x3000 であるため、プリプロセッサがロードしなければならない情報が多すぎることが問題になる可能性はありますか? もしそうなら、それを回避する方法はありますか？すべての画像のラベルを付け直す必要があるため、TF レコード ファイルを生成する前にすべての画像のサイズを変更したくありません。トレーニングプロセスの開始時にメモリがどのように割り当てられているかについての洞察が明らかに不足しているため、詳細を教えていただければ幸いです。

---

2 番目の質問は、テンソルボードでトレーニングを監視しているときに、さまざまな明るさで画像が表示されることです。model_lib_v2.py ファイルの 627 行を次のように変更しようとしました。

この解決策によると: https://github.com/tensorflow/models/issues/9115 運が悪い。この問題の解決策はありますか? また、モデルが提案するバウンディング ボックスをそこで監視できればいいと思います。ありがとうございました。