問題タブ [vowpalwabbit]

VW をデーモン モードで実行しています。スタンドアロンの実行可能ファイルとして、問題なく動作します。デーモン モードでは、最初に予測とオプションについて何かが表示されますが、最終結果は表示されません。正確に何が起こっているのかわかりません。

これが私がVW6を呼ぶ方法です

vw6が正常に動作していることを確認しました。簡単なphpスクリプトを使用してデータを送信します（簡潔にするためにデバッグ行を削除しました）：

上記の $result を印刷しても、何も印刷されません。私がstdoutで見る唯一のものは

スタンドアロンの実行可能モードで、同じモデルの同じ dat ファイルを -daemon オプションなしで実行すると、最後に結果が表示されます。

ここでデーモンモードで何がうまくいかないのか考えていますか? -p /tmp/ オプションも使用してみました... sudoでデーモンモードを実行しましたが、何も役に立ちませんでした。正確に何が起こっているかを知るためのデバッグ ダンプ オプションや詳細オプション、またはその他の何かがありますか?

ありがとう

検索エンジンのクエリ ログ データから特徴を抽出しました。特徴ファイル (Vowpal Wabbit の入力形式による) は 90.5 GB になります。この巨大なサイズの理由は、機能の構築に必要な冗長性です。Vowpal Wabbit は、TB 単位のデータを数時間で処理できると主張しています。それに加えて、VW は RAM をほとんど使用しないハッシュ関数を使用します。しかし、データに対して VW を使用してロジスティック回帰を実行すると、数分以内にすべての RAM が使い果たされ、停止します。これは私たちが使用するコマンドです-

train_output は VW をトレーニングする入力ファイルであり、train.model はトレーニング後に取得される予想されるモデルです。

どんな助けでも大歓迎です！

次のパラメータを使用しています

ロジスティック回帰を適用したいことを Vowpal Wabbit に理解させる正しい方法ですか?

Hadoop データ セットがあまりにも多くのデータ ブロックに分割されているという問題があります。

1. すでに存在する Hadoop データ セットがある場合、そのブロックをより少ないがより大きなブロックに結合する方法はありますか?

2. 出力を分割するブロック数の上限を (cloudera)に指定する方法はありますpigか?hadoop-streaming.jar

私はデータ マイニング技術には精通していますが、テキスト マイニングや Web マイニングにはあまり詳しくありません。

これは単純な作業です: 記事を一連のカテゴリに分類します。記事のテキスト コンテンツを抽出して処理したとします。

カテゴリ (定義済みのラベル) を取得する方法と場所は? そのためのオントロジー、分類法をプラグインして、必要に応じて細かくすることは可能ですか? 分類タスクはマルチラベル分類になります。

この場合、近似マッチングに n-gram を使用しますか?

現在、テキストから抽出されたテーマと名前付きエンティティがあります。そのために Vowpal Wabbit を使用できますか?

make test「Vowpal Wabbit」のインストール中に、何らかの理由でステートメントに問題が発生しました。次のエラーが表示されます。

誰でもこれが何であるか手がかりを持っていますか?

加重 SVD を使用する One Class Collaborative Filtering (OCCF) アルゴリズムを実装しようとしています。

Vowpal Wabbit を使用して正規化された Matrix Factorization を実装し、マルチクラス評価の場合に推奨事項を取得していましたが、Vowpal Wabbit Matrix Factorization を拡張して加重 SVD を実行する方法がわかりません。

vowpal wabbit に加重 SVD を実装する方法、または加重 SVD の既存の実装がある他のソフトウェアはどれですか?

Vowpal Wabbit 内で AUC を計算する方法はありますか?

私が Vowpal Wabbit を使用している理由の 1 つは、データ ファイルのサイズが大きいことです。Vowpal Wabbit の出力を使用して Vowpal Wabbit 環境外で AUC を計算できますが、データ ファイルが大きい場合は問題になる可能性があります。

逆ハッシュで保存された vowpal wabbit モデルを取得しようとしています。次のように作成された有効なモデルがあります。

vw --oaa 2 -b 24 -d mydata.vw --readable_model mymodel.readable

これにより、次のようなモデル ファイルが生成されます。

（その他何千もの機能についても同様です）。ただし、より便利にするには、機能名を確認する必要があります。かなり明白なことのように思えましたが、私はそうしました

vw --oaa 2 -b 24 -d mydata.vw --invert_hash mymodel.inverted

そして、次のようなモデル ファイルが作成されました (重みは作成されません)。

明らかに何か間違ったことをしたように感じますが、文書化された方法でオプションを使用していると思います:

--invert_hashに似て--readable_modelいますが、モデルは、ハッシュ インデックスと重みの代わりに、特徴名の後に重みが続く、より人間が読める形式で出力されます。

私の2番目のコマンドが出力を生成できない理由を誰かが知っていますか?

vowpal wabbit 形式 (.vw) でテストとトレーニングのセットを作成しました。さまざまな変数を削除した場合の影響を調査したいのですが、トレイン セットを毎回最初から再生成する必要はありません。VW に特定の入力のみに注意を払うように、または特定の入力を無視するように指示する方法はありますか?

--ignore で名前空間を使用できることは承知していますが、変数ごとに個別の名前空間を作成する必要があると思われます。