問題タブ [bayesian]

私のアプリケーション (C#) では、コンテンツに基づいて電子メールをフィルタリングする必要があります。電子メールがダブルオプトインの場合は、指定された電子メール アドレスに送信する必要があります。通常の電子メールの場合は、別の電子メール アドレスに送信する必要があります。

受信するメールを調べて、ダブル オプトイン メールの件名に表示される一般的な単語のリストを作成しました (最大 10 ～ 20 単語)。受信した各メールについて、件名にいくつかの単語が含まれているかどうかを確認し、件名の長さに応じて 2 ～ 3 を超える場合は、それがオプトインであると判断しました。問題は、この基本バージョンがうまく機能しなかったことです。

スパムフィルターについて読み（基本的にやりたいことは似ています）、Webでいくつかの例を検索した後、ベイジアンネットワークに基づいたものを見つけました。このソリューションの問題は、まだ持っていない多くのトレーニング資料を提供する必要があることです。

多くのトレーニング資料を必要とせずに、コンテンツと件名、または件名のみに基づいてこれらのメールをフィルタリングするにはどうすればよいですか?

編集: メール サーバー レベルでフィルタリングを行いたい。

イベントのストリームを分析し、特定の特性 (共通ソース) を共有し、特定の時間枠内で、最終的にそれらの複数のイベントを相関させ、同じものから何らかの推論を引き出し、最終的に何らかのアクションを開始したいと考えています。

複雑なイベント処理 (CEP) に関する私の限られた知識は、それがそのようなことの理想的な候補であることを教えてくれます。しかし、これまでの私の調査では、人々がそれをルールエンジンやベイジアン分類器と比較し、時にはそれらを組み合わせて使用​​していることを発見しました。

あるのか知りたい -

1. 従うべきいくつかのベスト プラクティス (パフォーマンス データ、およびイベントの性質/タイプの説明によって理想的にサポートされている) に従う必要があります。特に Erlang では?

2. Erlang には独自の CEP フレームワークがありますか?

3. Erlang で利用可能なベイジアン分類ライブラリはありますか?

Java ワールドの Esper は、私がやりたいことに非常に近いようですが、可能であれば、環境を Erlang のみ (または Erlang と C/C++ のみ) に保ちたいと考えています。

ポインタ、アドバイス、ガイダンス - すべて歓迎します。

ありがとう、

IC

私はコンピューター ビジョンとアフェクティブ コンピューティングに適用される機械学習とベイジアン推論の研究を始めています。

私の理解が正しければ、大きな議論があります

• 古典的IA、オントロジー、セマンティックWeb研究者
• 機械学習とベイジアンの人たち

通常、機能心理学 (ブラック ボックス セットとしての脳) や認知心理学 (心の理論、ミラー ニューロン) などの哲学的問題に関連する強力な AI と弱い AI と呼ばれていると思いますが、プログラミング フォーラムのようなプログラミング フォーラムでは、これは重要ではありません。これ。

2 つの視点の違いを理解したいと思います。理想的には、回答は、一方のアプローチが良い結果をもたらし、もう一方のアプローチが失敗する例や学術論文を参照します。また、歴史的な傾向にも興味があります。なぜアプローチが支持されなくなり、新しいアプローチが台頭し始めたのかということです。たとえば、ベイジアン推論は計算処理が難しく、NP の問題であることを私は知っています。それが、情報技術の世界で長い間確率モデルが好まれなかった理由です。しかし、彼らは計量経済学で上昇し始めています。

ベイズ分類子は、同じフレーズ「冷やしてお召し上がりいただけます」が、あるもの（ビール、ソーダ）に関連付けられている場合は「良い」であるが、他のもの（ステーキ、ピザ、ハンバーガー）？

私が疑問に思っているのは、ベイズ分類器をトレーニングすると（「ビールコールド」と「ソーダコールド」が「良い」）、「ステーキサーブコールド」と「ハンバーガーサーブドコールド」が「悪い」というトレーニングがキャンセルされるかどうかです。

または、ベイズは、それが何に関連付けられているかに応じて、「冷やして提供する」が「良い」または「悪い」可能性があることを（正しく）訓練できますか？

ベイズについて、ここや他の場所で多くの良い情報を見つけましたが、フレーズの良し悪しに対する答えが「状況によって異なります」であるこのタイプのアプリケーションに適しているかどうかを判断できませんでしたか？

私はruby​​ classifier gemを使用しています。その分類メソッドは、訓練されたモデルに対して分類された特定の文字列のスコアを返します。

スコアはパーセンテージですか？もしそうなら、最大差は100点ですか？

現在、Python パッケージOrangeを使用して、大量のデータ セットに対していくつかの分類テストを実行しています。私は主に Naive Bayes 法を使用しており、他のアプリケーションから、計算のために複数のノードに分散できることを知っています。残念ながら、オレンジには複数のコンピューターまたはコアを使用する機能がないようです。

クラスタ環境で Orange を使用したことのある人はいますか? またはマルチコアコンピューターで？

どんな提案も役に立ちます..

よろしく

TalkingPuffin Twitterクライアントに機能を追加することを考えています。この機能では、ユーザーとのトレーニングの後、予測値に従って着信ツイートをランク付けできます。Java仮想マシン（ScalaまたはJavaが推奨）がこの種のことを行うためのソリューションは何ですか？

異なるアルゴリズムには異なるパラメーターがあると言われています。ツリー決定アルゴリズムと単純なベイジアンアルゴリズムの場合、それぞれのパラメーターは何ですか? 誰かが私に例を与えることができます..

この場合、デシジョン ツリー アルゴリズムを使用して実行されるデータに対して 5 倍の交差検証を行うことは、ベイジアンとは異なりますか?

また、パラメーターの最適化のために、5 分割の交差検証を行います。wekaを使用してパラメータの設定値キーを決定するためにこれを自動的に行う方法はありますか?

タグ付けや分類などを行いたいエッセイ (数千) がたくさんあるとしましょう。理想的には、数百を手動で分類/タグ付けして何かをトレーニングし、それを解放したいと考えています。

そのようなタスクを実行するために、どのリソース (本、ブログ、言語) をお勧めしますか? 私の一部では、これはベイジアン分類子や潜在的意味分析にも適していると考えていますが、いくつかのruby ​​ gemから見つけたもの以外は、どちらにもあまり詳しくありません。

このようなことは、ベイジアン分類器で解決できますか? 意味解析/自然言語処理についてもっと調べるべきですか? それとも、そこからキーワードの密度とマッピングを探すだけでよいのでしょうか?

どんな提案でも大歓迎です (それが必要なら、何冊かの本を手に取ってもかまいません)!

私はトレーニングを使用してデータを分類しているので、次元は、xtrain matrixμは2要素ベクトル、Σはcovariancxe行列2x2です。2 features2000 rows2

mu = 0.3486 0.8327

私は次のようなことをしています：

次に計算します：

問題は、分類器の結果をxtest matrix？でテストする方法です。

例）mvnpdf(X,Mean,Cov)

X <=分類したいデータ
Mean<=作成時に
Cov既知<=作成時に既知

各クラスのデータ計算を分類しpdfgauss and multiply by Prior(w)、最大値を示すクラスを選択するには

これらの関数を使用するために、pdfgaussは距離を計算するために何かを使用します dist = mahalan(X,Mean(:,i),Cov(:,:,i));

• この分類を終了するにはどうすればよいですか？

pdfgauss.m