tensorflow - カスタム モデルの損失が高い値に収束しました (Tensorflow)

Question

人だけを検出するカスタム モデルをトレーニングしています。
Tensorflow オブジェクト検出 API を使用し、この github ドキュメントに従いました。
coco データセットから画像を取得しました。
400枚のテスト画像と1600枚の列車画像を用意。
ここに私の列車の設定があります。

train_config: {
  batch_size: 6
  optimizer {
    rms_prop_optimizer: {
      learning_rate: {
        exponential_decay_learning_rate {
          initial_learning_rate: 0.0001
          decay_steps: 250
          decay_factor: 0.9
        }
      }
      momentum_optimizer_value: 0.9
      decay: 0.9
      epsilon: 1.0
    }
  }

そして環境。

Tensorflow : 1.13.1 gpu
GPU : GTX 1070
CDUA : 10.0
cuDNN : 7.4.2

上記の github ドキュメントによると、損失は 2 未満であるはずですが
、私のモデルの損失は常に 4 に収束します。何か問題はありますか??
何が悪いのかわかりません...
助けてくれてありがとう。