問題タブ [vowpalwabbit]

次の方法で Vowpal Wabbit を実行する Java コードを作成しました。

コマンドの場所

vw -d input.txt --loss_function=ロジスティック -f model.vw

これの欠点は、ディスクへの書き込みが必要になることです。いくつか検索した後、vowpal wabbit が R の標準入力の例からのデータの読み取りをサポートしていることを知りました

Java 1.8 でこれを実現する例は見つかりませんでした。誰か私と共有できますか？

以下は、VW モデルのトレーニングからのログの一部です。

これらの行のいくつかの後に h が続くのはなぜですか? 最後の要約の「平均損失」の行がそうであることに気付くでしょう。これが何を意味するのか、または気にする必要があるかどうかはわかりません。

ありがとう

現在、Vowpal Wabbit で遊んでいます。ツールがデータセットのシフトをどのように処理するかに特に興味があります。私の直感からすると、VW はオンライン アルゴリズムであるため、これは簡単なはずです。したがって、3 つの特徴を持つテスト データセットを生成しました。次の辞書には、特徴の名前と正または負の確率が含まれています。

次に、次の方法でおもちゃのデータセットを生成します。

1. 一様にランダムに 1 つの特徴を選択する
2. 対応する確率でクラス ラベル 1 を生成し、それ以外の場合は -1 を生成します。
3. 約 100000 データセット/行を生成

次のようなコマンドを使用して、Vowpal Wabbit を使用してこのデータセットで学習します。

私のログロスとオークは次のようになります。

学習された確率は次のようになります。

結果はかなり正確です。ここで、次の確率で別のデータセットを作成します。

そのため、特定のクラスに属する機能の確率がシフトしたため、これは本質的にデータセットのシフトです。これは私にとって興味深いので、新しいデータセットの学習のために古いモデルを意図的に含めます。あれは：

しかし、ある種の適応を見る代わりに、代わりに次の結果が得られます。

機能の確率は、2 回目の実行後も変化しません。

したがって、私の結論は次のとおりです。古いモデルを 2 番目のデータセット学習に含めると、何も学習されません。ただし、しばらくすると、Vowpal Wabbit がシフトに適応することを期待しています。明らかに、これは起こりません。

私の質問: このようなデータセットのシフトに適応するには、どのように vowpal wabbit パラメーターを微調整する必要がありますか?

25 個のフィーチャと 4,800 万個のインスタンスを含むデータセットに対して、Vowpal Wabbit を使用してロジスティック回帰を実行しています。現在の予測値について質問があります。0 または 1 の範囲内である必要があります。

私は Vowpal Wabbit を試しており、トレーニングとテストに必要なファイル形式を見つけようとしています。https://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorialのチュートリアルに従っていますが、トレーニング データの形式は次のとおりです。

テストデータについては、ラベルや出力はありませんが、特徴だけがあります。それを書き出すにはどうすればよいでしょうか。私は次のような機能を含めてみました：

ただし、適切な形式ではないため、例外があります。私も次のことを試しましたが、すべて結果として0だけが得られました。

機能だけを知っている、私が目指すべきフォーマットは誰ですか? 助けてくれてありがとう。

Yosemite OSX を実行している Mac Mini 2012 に vowpal wabbit をインストールしようとしています。

John Langford がhttps://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorialで提案しているように、ソース フォージから直接ブーストをインストールする方法を試すことができませんでした。代わりに、次のようにしましたsudo port install boost。これは問題なく動作するようで、ファイルprogram_options.hppが場所に存在することを確認しました/opt/local/include/boost/program_options.hpp。

vowpal_wabbit次に、ルート ディレクトリにクローン を作成し、 sudo make install. これを行ったとき、端末に次のエラーが表示され、それprogram_options.hppが見つからないというメッセージが表示されました。

間違った場所にブーストをインストールしていますか? 見逃した手順はありますか？vowpal wabbit にインストール時にどこを見ればよいかを伝える方法はありますか?

前もって感謝します、

アーロン

一連のファイル (現在約 10 個) で vowpal wabbit を実行しようとしています。私の実験は次のとおりです。

1. 最初のトレーニング ファイルを VW 形式に変換する

2. この最初のトレーニング ファイルを使用して VW モデルをトレーニングし、モデルを保存します。

3. 保存されたモデルを使用してテスト ファイルの精度を検証する

4. 次に、2 番目のファイルを VW 形式に変換し、ステップ 2 で保存したモデルをこの 2 番目のファイルで再トレーニングし、更新されたモデルを保存します。

5. 再トレーニングされたモデルでテスト ファイルを検証し、精度を報告します。

6. for ループを使用して、残りのファイル セットに対して手順 4 ～ 5 を繰り返します (テスト ファイルは各反復で同じです)。

この実験を行ったとき、いくつかのエラーが発生しました。ここでは、train、retrain、validation コマンドとエラーを貼り付けています。

エラーを発生させずにこのシナリオを再現するのを手伝ってください。

コマンド:

ここで「i」は 1 から 10 の範囲です

$idec = i -1(前のモデルのインデックス)

vw -d ${i}_processed_binary_compressed.vw --loss_function logistic -i ${idec}_processed_binary_compressed.model.vw --quiet --save_resume -f ${i}_processed_binary_compressed.model.vw

echo echo "day_$i のモデル トレーニングが完了しました"

echo "${i}_day のモデル検証が進行中です..." echo

vw 10_processed_binary_compressed_test.vw -t -i ${i}_processed_binary_compressed.model.vw --quiet --ハッシュ文字列 -p 10_processed_binary_compressed_test_${i}_day_result.csv -r 10_processed_binary_compressed_test_${i}_day_raw.txt

エラー：

vw: オプション '--data' は複数回指定できません

vowpal wabbit のインストールに苦労しています。

私が遭遇する問題は、vw のクローン作成後、コマンド make を実行したときです。以下エラーメッセージ

どんな助けでも大歓迎です！OS: Windows 8.1 64bit よろしくお願いします

あ