0

これは、単純ベイズ分類器を使用して、観測された特徴に関するラベルの確率を計算するために私が書いたコードです。これは、平滑化を行わずに Naive Bayes 式を計算することを目的としており、実際の確率を計算することを目的としているため、通常省略される分母を使用してください。私が抱えている問題は、(以下の) 例では、「良い」ラベルの確率が > 1 であることです。(1.30612245) 誰かがそれが何であるかを理解するのを手伝ってくれますか? これは素朴な仮定の副産物ですか？

package NaiveBayes;

use Moose;

has class_counts => (is => 'ro', isa => 'HashRef[Int]', default => sub {{}});
has class_feature_counts => (is => 'ro', isa => 'HashRef[HashRef[HashRef[Num]]]', default => sub {{}});
has feature_counts => (is => 'ro', isa => 'HashRef[HashRef[Num]]', default => sub {{}});
has total_observations => (is => 'rw', isa => 'Num');

sub insert {
    my( $self, $class, $data ) = @_;
    $self->class_counts->{$class}++;
    $self->total_observations( ($self->total_observations||0) + 1 );
    for( keys %$data ){
        $self->feature_counts->{$_}->{$data->{$_}}++;
        $self->class_feature_counts->{$_}->{$class}->{$data->{$_}}++;
    }
    return $self;
}

sub classify {
    my( $self, $data ) = @_;
    my %probabilities;
    my $feature_probability = 1;
    for my $class( keys %{ $self->class_counts } ) {
        my $class_count = $self->class_counts->{$class};
        my $class_probability = $class_count / $self->total_observations;
        my($feature_probability, $conditional_probability) = (1) x 2;
        my( @feature_probabilities, @conditional_probabilities );
        for( keys %$data ){
            my $feature_count = $self->feature_counts->{$_}->{$data->{$_}};
            my $class_feature_count = $self->class_feature_counts->{$_}->{$class}->{$data->{$_}} || 0;
            next unless $feature_count;
            $feature_probability *= $feature_count / $self->total_observations;
            $conditional_probability *= $class_feature_count / $class_count;
        }
        $probabilities{$class} = $class_probability * $conditional_probability / $feature_probability;
     }
     return %probabilities;
}

__PACKAGE__->meta->make_immutable;
1;

例：

#!/usr/bin/env perl

use Moose;
use NaiveBayes;

my $nb = NaiveBayes->new;

$nb->insert('good' , {browser => 'chrome'   ,host => 'yahoo'    ,country => 'us'});
$nb->insert('bad'  , {browser => 'chrome'   ,host => 'slashdot' ,country => 'us'});
$nb->insert('good' , {browser => 'chrome'   ,host => 'slashdot' ,country => 'uk'});
$nb->insert('good' , {browser => 'explorer' ,host => 'google'   ,country => 'us'});
$nb->insert('good' , {browser => 'explorer' ,host => 'slashdot' ,country => 'ca'});
$nb->insert('good' , {browser => 'opera'    ,host => 'google'   ,country => 'ca'});
$nb->insert('good' , {browser => 'firefox'  ,host => '4chan'    ,country => 'us'});
$nb->insert('good' , {browser => 'opera'    ,host => '4chan'    ,country => 'ca'});

my %classes = $nb->classify({browser => 'opera', host => '4chan', country =>'uk'});

my @classes = sort { $classes{$a} <=> $classes{$b} } keys %classes;

for( @classes ){
    printf( "%-20s : %5.8f\n", $_, $classes{$_} );
}

版画:

bad                  : 0.00000000
good                 : 1.30612245

私は0の確率についてはあまり心配していませんが、良い> 1の「確率」の方が心配です。これは、古典的なナイーブベイズの定義の実装だと思います。

p(C│F_1 ...F_n )=(p(C)p(F_1 |C)...p(F_n |C))/(p(F_1)...p(F_n))

どうしてこれが > 1 になるのでしょうか?

4

1 に答える 1

0

これをデバッグするには、Perl を適切に使用してからかなり時間が経ちましたが、どこに問題があるかがわかると思います。特徴ベクトル p(f_1 ... f_n) の限界確率は、あなたがそうしているように見える方法では計算されません。これは、別のパラメーターを使用した別の計算として行われます。代わりに、事前確率 p(c_1) および p(c_2) を持つクラス c_1 および c_2 と、尤度項 p(f | c_1) および p(f | c_2) がある場合、f の周辺確率は次のようになります。

p(c_1)*p(f|c_1) + p(c_2)*p(f|c_2)

これが、分母が省略されることが多い理由です。分母は、既に使用している量の合計を含むだけです。相対確率について知りたいことはすべて、正規化されていないスコアの比率として計算できるため、比例定数の計算は、0 から 1 の間の数値が明示的に必要な場合にのみ役立ちます。

于 2012-12-20T10:59:09.743 に答える