問題タブ [vowpalwabbit]

Zendesk のチケットの解決時間 (分単位) とクライアントの説明を使用して、説明に基づいて次のチケットの解決時間を予測したいと考えています。この 2 つの値のみを使用しますが、説明は長いテキストです。Vowpal Wabbit で機能名をハッシュするのではなく、機能値をハッシュすることについて検索しましたが、成功しませんでした。大きなテキストである特徴値を使用して Vowpal を使用して予測するためのより良いアプローチはどれですか?

次のように、154の異なるクラスラベルを持つ1つのマルチクラス分類タスクにVowpal Wabbitを使用しようとしています:

1. 大量のデータを使用してトレーニングされた VW モデル。
2. 1 つの専用テスト セットでモデルをテストしました。

このシナリオでは、80% 以上の結果を達成できました。これは良い結果です。しかし、現在私が取り組んでいる問題は次のとおりです。

リアルタイム予測シナリオを複製する必要があります。この場合、モデルが値と出力を予測できるように、一度に 1 つのデータ ポイント (つまり、テキスト行) を渡す必要があります。

私は知っていたが失敗したすべてのオプションを試しました。ファイルとしてではなく、VWコマンドとともに1つのデータポイントを渡すことにより、リアルタイムシナリオを作成する方法を教えてください。

SVM を使用して vowpal wabbit でバギングまたはブースティングを使用するにはどうすればよいですか。

私の現在の結果は、90% の再現率と 10% の精度です。

バギング/ブースティングを使用して精度を高めたい

--daemon モードでデータを vw にストリーミングしようとしていますが、最後に各変数の係数の値を取得したいと考えています。したがって、vw を --daemon モードで次のいずれかにすることを希望します。 - 送信するデータの各行の係数の現在の値を返信します。- 結果のモデルを「--readable_model」形式で書き込みます。

モデルを特定のファイルに保存するためにデーモン モードで vw を取得するためのダミーのサンプル トリックについては知っていsave_namemodel | ...ますが、そのファイルから係数値にアクセスできないため、それだけでは十分ではありません。

私の問題を解決する方法について何か考えはありますか?

Vowpal Wabbit でなげなわ回帰を実行したかったのです。だから、私はこのコマンドラインを使用しました

読み取り可能なファイルには、使用した機能の重みが表示されません。しかし、パラメータ --l1 をスキップすると、重みが適切に表示されます。さらに、--l1 パラメータを指定しないと、このような重みが表示されます..

• 1:-0.437898 994842.000000 1.000000
• 33340:-0.176359 201942.265625 1.006310
• 59044:-0.152967 201843.875000 1.002754
• 63438:-0.187405 202149.140625 1.015530
• 124204:-0.159398 201741.187500 1.002742
• 166130:-0.185312 201754.421875 1.013330

これは、すべての重みが負であることを示唆しています。しかし、私の機能はすべて +ve 評価されています。したがって、私の特徴の線形結合は、すべての観測結果の予測 -ve すべての観測に対して負になります。しかし、+ve と -ve の両方が予測ラベルとして表示されます。

3 つの質問

1. 私のコマンドラインがなげなわ回帰に対して正しいかどうか。
2. ウェイトを表示できるようにするものは何ですか。
3. すべての負の重みの事件を理解できないのは何ですか

私は vowpal wabbit を初めて使用するので、いくつか質問があります。

データセットを vw に渡し、モデルを適合させ、サンプル内予測を取得し、モデルを -f で保存しました。ここまでは順調ですね。モデルを使用して、さまざまなデータセットで予測を行う方法を知っています。しかし、モデルに観測を追加して更新する方法を知りたいです。

主な目的: データの一部を使用して、最初に vw を作成してオンラインで学習させ、そのモデルを使用してデータを予測します。次に、新しいデータを使用してモデルを更新します。次に、更新されたデータを使用して別の新しい観測を予測します。このプロセスは継続する必要があります。

私が言ったように、私は初心者なので、質問の些細なことを許してください

vowpal wabbit に 2 つのラベルを持つデータセットを指定し、ロジスティック回帰を実行しました。問題は、予測として正から負に変化する実数を返すことです。これらの値をある種の確率に変換したい場合。どうすればいいですか。

予測値は a'x で、a は係数ベクトル、x は特徴ベクトルであると考えていました。この場合、二項リンク関数を直接使用して確率を取得できます。

vowpal wabbit から構築された LDA のモデルがあります。チュートリアルでは、このようにトピックごとに最も価値のある単語を印刷できることがわかりました

モデルを含むファイルしかない場合に、そのような出力を生成する方法を知っている人はいますか?

現在、vowpal wabbit を使用してトレーニング フェーズを実行しています。データ セットは大きく (4G バイト)、すでに一晩中実行されています。まだ訓練中で、何日続くかわかりません。

トレーニングを停止する方法があるかどうか知っていますが、モデルを現在の状態で保持して保存するため、実際のデータでテストする必要がありますか?