問題タブ [machine-learning]

私が遊んでいる実験的なプロジェクトでは、テキストデータを見て、表形式のデータが含まれているかどうかを検出できるようにしたいと考えています。もちろん表形式のデータのように見えるケースも多いので、共通点を探すにはどのようなアルゴリズムを研究すればいいのだろうと考えていました。

私が最初に考えたのは、タブで区切られたデータをチェックする長い switch/case ステートメントを書き、次にパイプ記号で区切られたデータの別のケース、さらに別の方法で区切られたデータの別のケースなどを書くことでした。検出するさまざまなもののリストを作成する必要がありますが、これらの機能を検出するには、各タイプを比較的ゆっくりと検索するよりもインテリジェントな方法があるのではないかと考えました。

この質問は特に雄弁に語られているわけではないので、意味があることを願っています!

何か案は？

（これにタグを付ける方法もわかりません-そのため、助けを歓迎します！）

使ってます

新しいニューラルネットワークを生成します。の数のデフォルト値はvalidation checksです6。

私は多くのネットワークをトレーニングしていますが、これには多くの時間がかかります。結果をかなり速くすることができれば、私の結果が少し不正確であるかどうかは問題ではないと思います。

どうすればより速くトレーニングできますか？

• 検証チェックの数を減らすのも一つの方法だと思います。どうすればそれを行うことができますか（GUIを使用せずにコードで）
• 速度を上げる他の方法はありますか？

私が言ったように、速度の増加は精度を少し失うかもしれません。

私はいくつかのニューラルネットワークシミュレーションで遊んでいます。入力ノードと出力ノードを共有する2つのニューラルネットワーク（他のノードは別個であり、2つの異なるルートの一部）を競合させたいと思います。私が見なければならない例/標準アルゴリズムはありますか？これはこのサイトにとって適切な質問ですか？

現在、しきい値を使用して2つのルートを区別していますが、同時にアクティブにして、各ルートを通過するのにかかる時間を使用して決定させたいと考えています（「このシミュレーションは2人にとって十分な大きさではありません」）。要因。

アップデート：

GacekとAmroに感謝します。

Gacek-私は機械学習の学生ではありません.../そしてこれはニューラルネットワークの実装に関する私の最初の経験です...では、「品質係数」とはどういう意味ですか？

Amro-申し訳ありません...質問で「競争力のある学習」を使用するべきではありませんでした...それを変更し、データを追加しようとします。私がやろうとしているのは、入力を共有し、同じ出力を生成する（定性的にではない）2つのネットワークを設定することです...それらは文字通り同じ出力ニューロンに接続されています。たぶん、2つのルートまたは経路を持つ単一のネットワークと見なすことができます。私は、情報が刺激ノードから2つのルートに沿って応答ニューロンに移動するのにかかる時間に基づいて選択するようにしています。

このFAQによると、libsvmのモデル形式は単純である必要があります。そして実際、私がちょうどと呼ぶとき、それはそうですsvm-train。a1a例として、データセットの最初のSVは

一方、easy.pyスクリプトを使用すると、最初のSVは次のようになります。

これは私のトレーニングセットにはまったく存在しないインスタンスです！実際、私がそうする場合：

119：-1のインスタンスはありません（そして、と交換+1しただけ-1でも、119：1と118：1のインスタンスはありません-欠落している属性はゼロです）

このソースコードの変更svm-trainを行うと、前者の場合（のみ関係する）、最初のSVが最初のインスタンスでもあることがはっきりとわかります。しかし、後者の場合（つまりeasy.pyスクリプトを使用）、どのインスタンスがSVであるかを示す出力はによって食べられますgrid.py

何が起きてる？

「教師なし分類」に関する研究を行っています。基本的に私はtrainSetを持っており、教師なしでX個のクラスのデータをクラスタリングしたいと考えています。アイデアは、k-means が行うことと似ています。

まあ言ってみれば

Step1) featureSet は [1057x10] 行列であり、それらを 88 個のクラスターにクラスター化したいと考えています。

Step2) 以前に計算されたクラスを使用して、testData がどのように分類されるかを計算します

質問 - SVM または NN で実行できますか? 他に何か ？-他におすすめはありますか?

高次元のバイナリデータ（テキスト）の場合は、単純な線形SVMが最適だと思う単純なSVM分類器を実装したいと思います。自分で実装する理由は、基本的にはどのように機能するのかを知りたいので、ライブラリを使うのは私が望んでいることではありません。

問題は、ほとんどのチュートリアルが「二次問題」として解くことができる方程式に到達することですが、実際のアルゴリズムを示すことはありません。それで、私が研究できる非常に単純な実装、または（より良い）実装の詳細に至るまでのチュートリアルを教えていただけますか？

どうもありがとう！

私が見たニューラルネットワークの例はすべて、画像と固定長データに適した固定セットの入力用です。文、クエリ、ソース コードなどの可変長データをどのように処理しますか? 可変長データを固定長入力にエンコードし、ニューラル ネットワークの一般化プロパティを取得する方法はありますか?

Pythonコードからサポートベクターマシンを使用できるライブラリがあることは知っていますが、オンラインで教えることができるライブラリを特に探しています（つまり、一度にすべてのデータを提供する必要はありません）。

いずれかがあります？

画像内で最もよく使用される色、または少なくとも主要な色調を抽出したいのですが、このタスクを開始する方法を教えてください。または同様のコードを教えてください。私はそれを探していましたが、成功しませんでした。

分類には Weka のエクスプローラー機能を使用しています。

したがって、NUMERIC 値の 2 つの機能を持つ .arff ファイルがあり、クラスはバイナリ 0 または 1 ({0,1} など) です。

サンプル：

この .arff ファイルをロードし、10 分割クロス検証 (テスト ファイルなし) を使用し、NaiveBayes を選択してから、データを分類すると、ラベルが正しくない 5 つ、正しくラベル付けされた 100 が得られます。ここまでは順調ですね。

ここで、.arff ファイルを大幅に変更します (フィーチャ属性に完全にランダムな値を指定します)。上記を繰り返すと、分類時にまったく同じ統計が得られます。

.arff ファイルにさらに変更を加えて、さまざまな分類アルゴリズムでこれを試しました。それでも、.arff ファイルにどのような値を指定しても、(同じアルゴリズム内で) まったく同じ統計が得られます。

ここで何か間違ったことをしていますか？