問題タブ [semantic-segmentation]

refで説明されているように、keras で一般化されたサイコロ損失 (サイコロ損失のマルチクラス バージョン) を実装しました。

(私のターゲットは次のように定義されています: (batch_size, image_dim1, image_dim2, image_dim3, nb_of_classes))

しかし、何かが間違っているに違いありません。私は 4 つのクラス (1 つのバックグラウンド クラスと 3 つのオブジェクト クラス、私は不均衡なデータセットを持っています) にセグメント化する必要がある 3D 画像を扱っています。最初の奇妙なこと: トレーニング中に列車の損失と精度が向上する (そして非常に速く収束する) 一方で、検証の損失と精度は一定のトラフ エポックです (画像を参照)。次に、テスト データを予測する場合、バックグラウンド クラスのみが予測されます。一定のボリュームが得られます。

まったく同じデータとスクリプトを使用しましたが、カテゴリカル クロス エントロピー損失があり、もっともらしい結果が得られました (オブジェクト クラスはセグメント化されています)。これは、私の実装に何か問題があることを意味します。それが何であるかについて何か考えはありますか？

さらに、最近のほとんどのセマンティック セグメンテーション タスク (少なくとも医用画像コミュニティ) で使用されているように見えるため、一般化されたサイコロ損失の実装を持つことは keras コミュニティにとって役立つと思います。

PS: 重みがどのように定義されているかは奇妙に思えます。10^-10前後の値が得られます。他の誰かがこれを実装しようとしましたか? また、重みなしで関数をテストしましたが、同じ問題が発生します。

Mask R-CNN「物体の検出とセグメンテーション」について研究しています。Mask R-CNNそこで、オブジェクト検出について提示した元の研究論文を読みました。またMask R-CNN、こことここで(detectron と呼ばれる Facebook AI 研究チームによる) の実装もほとんど見つかりませんでした。しかし、彼らは皆、テストに coco データセットを使用しています。

しかし、大量の画像セットを持つカスタム データセットを使用して上記の実装をトレーニングすると、かなり混乱します。各画像には、対応する画像内のオブジェクトをマークするためのマスク画像のサブセットがあります。

ですから、誰かがこのタスクに役立つリソースやコード サンプルを投稿できれば幸いです。

注: 私のデータセットは次のような構造になっています。

多数の画像で構成され、各画像には、オブジェクトを黒い画像の白いパッチとして強調表示する個別の画像ファイルがあります。

画像の例とマスクを次に示します。

画像;

マスク;