問題タブ [image-classification]

データセットにすべての画像が jpeg 形式で含まれていることを確認しました。を使用する場所を読みましtf.image.decode_jpeg()たが、すべてのファイルが jpeg 形式であっても、まだ必要ですか。はいの場合、それを行う方法は？

マルチクラスの画像分類器を構築しています。
プログラムに深刻なバグがないかどうかを確認するために、単一のバッチにオーバーフィットするデバッグのトリックがあります。
移植性の高い形式でコードを設計するにはどうすればよいですか?
困難で賢明ではない方法の 1 つは、テスト クラスが 2 つの分布 (表示されたデータと表示されていないデータ) で構成される小さなバッチ用のホールドアウト トレーニング/テスト フォルダーを作成することです。私たちのネットワークには、より深刻な構造上のバグはないと結論付けることができます。
しかし、これはスマートでポータブルな方法とは思えず、すべての問題でそれを行う必要があります。

現在、私は以下の方法でtrain/dev/testのデータを分割しているデータセットクラスを持っています -

PS - 私は Pytorch ライトニングについて知っており、簡単に使用できるオーバーフィッティング機能があることを知っていますが、PyTorch ライトニングに移行したくありません。

https://colab.research.google.com/drive/1EdCL6YXCAvKqpEzgX8zCqWv51Yum2PLO?usp=sharing

こんにちは、

上記では、テンソルフローを使用して歯科用 X 線で 5 つの異なるタイプの修復物を特定しようとしています。公式ドキュメントを使用して手順を実行していますが、今は行き詰まっており、助けが必要です。ここに私の質問があります：

1-ローカル ディスクにデータがあります。上記のリンクの TF の例では、別のリポジトリからデータをダウンロードします。画像をテストしたい場合、以下のコードを使用する以外に方法はありますか?:

公式ドキュメントには、次のように画像を1つずつテストする方法が示されているだけなので、私はこれを求めています:

2- 「image_dataset_from_directory」メソッドを使用しているため、別の検証ディレクトリがありません。それは大丈夫ですか ？または ImageDataGenerator を使用する必要がありますか? データをテストするために、5 つのカテゴリすべてからランダムにいくつかのデータを手動で選択し、その数のカテゴリがあるため、5 つのサブフォルダを持つテスト フォルダにそれらを配置しました。これは、テストデータを異なるフォルダーに分けて、予測のために行うべきことですか? はいの場合、テスト時にこれら 5 つのフォルダーをすべて同時にロードするにはどうすればよいですか?

3-混同行列も作成することになっています。しかし、これを自分のコードに適用する方法がわかりませんでしたか? scikit-learn の混同行列を使用すると言う人もいますが、今回は y-true、y_pred 値を定義する必要があり、このコードには収まりません。5つの異なる予測に対して5つの異なる混同行列を評価することになっていますか?どのように?

4-時々、検証の精度がトレーニングの精度よりもはるかに高いことに気付きます。これは異常ですか？3 ～ 4 エポックの後、トレーニングの精度は検証の精度を維持し、よりバランスの取れた方法で継続します。これはあってはならないことだと思いました。すべて問題ないですか ？

5- 最後の質問です。最初のエポックが他のエポックよりもはるかに長い時間がかかるのはなぜですか? 私のセットアップでは、最初のエポックを完了するのに約 30 ～ 40 分かかり、その後、他のすべてのエポックを完了するのに約 1 分ほどかかります。それを修正する方法はありますか、それとも常に同じように発生しますか?

ありがとう。