ウェブページからの広告である画像を検出するアプリを構築しようとしています。それらを検出したら、クライアント側での表示を許可しません。
基本的に、バックプロパゲーション アルゴリズムを使用して、次のデータセットを使用してニューラル ネットワークをトレーニングしています: http://archive.ics.uci.edu/ml/datasets/Internet+Advertisements。
しかし、そのデータセットではありません。属性値が非常に高い。実際、このプロジェクトのメンターの 1 人が、これほど多くの属性を使用してニューラル ネットワークをトレーニングすると、トレーニングに時間がかかると言っていました。入力データセットを最適化する方法はありますか? それとも、それだけ多くの属性を使用する必要がありますか?
1558は、実際には適度な数の機能/属性です。インスタンス数（3279）も少ないです。問題はデータセット側ではなく、トレーニングアルゴリズム側にあります。
ANNはトレーニングが遅いので、ロジスティック回帰またはsvmを使用することをお勧めします。どちらも非常に高速にトレーニングできます。特に、svmには多くの高速アルゴリズムがあります。
このデータセットでは、実際にはテキストを分析していますが、画像は分析していません。線形家族分類器、つまりロジスティック回帰またはsvmの方が仕事に適していると思います。
本番環境で使用していて、オープンソースコードを使用できない場合。ロジスティック回帰は、優れたANNおよびSVMと比較して実装が非常に簡単です。
ロジスティック回帰またはSVMを使用することにした場合は、将来、参照できる記事またはソースコードをお勧めします。
1558 個の入力ノードと 3279 個のサンプルしかないバックプロパゲーション ネットワークを実際に使用している場合、トレーニング時間は問題の中で最小のものです。10 個のニューロンを含む隠れ層が 1 つしかない非常に小さなネットワークであっても、1558* になります。入力レイヤーと非表示レイヤーの間の 10 個の重み。たった 3279 個のサンプルから自由度 15580 の適切な推定値を得るにはどうすればよいでしょうか? （そして、その単純な計算は「次元の呪い」さえ考慮していません）
データを最適化する方法を見つけるには、データを分析する必要があります。入力データの理解に努めてください: どの (タプル) 特徴が (一緒に) 統計的に有意であるか? (これには標準的な統計手法を使用します) 一部の機能は冗長ですか? (主成分分析は、このための適切な出発点です。) 人工ニューラル ネットワークがその作業を行うと期待しないでください。
また、Duda&Hart の有名な「no-free-lunch-theorem」を思い出してください。すべての問題に対して機能する分類アルゴリズムはありません。また、どの分類アルゴリズム X でも、コインを投げた方が X よりも良い結果が得られるという問題があります。これを考慮すると、データを分析する前にどのアルゴリズムを使用するかを決めるのは賢明ではないかもしれません。特定の問題について、盲目的な推測よりも実際にはパフォーマンスが悪いアルゴリズムを選択した可能性があります。(ちなみに、パターン分類に関する Duda&Hart&Storks の本は、まだ読んでいない場合は、これについて学ぶための出発点として最適です。)