1

テキストの要約である tensorflow の texsum モデルに取り組んでいます。github/textsumの readme で指定されたコマンドに従っていました。data フォルダに存在する validation という名前のファイルが eval ステップで使用されるとのことでしたが、 data フォルダに検証ファイルがありませんでした。

自分で作成しようと思ったのですが、後でバイナリファイルにする必要があることに気付きました。そのため、バイナリに変換されるテキスト ファイルを準備する必要がありました。ただし、そのテキスト ファイルには特定の形式が必要です。トレインステップで使用するファイルと同じでしょうか？train ステップと eval ステップで同じファイルを使用できますか? 私が従った一連の手順は次のとおりです。

ステップ 1: おもちゃのデータセットの「更新済み」として言及された vocab ファイルを使用してモデルをトレーニングする

ステップ 2: しばらくトレーニングを続け、running_avg_loss: 3.590769 で「Kill​​ed」になりました

ステップ 3: トレーニングに使用したものと同じデータと語彙ファイルを eval ステップに使用して、eval を実行しました。running_avg_loss が 6 から 7 の間で実行され続けます

同じファイルを使用するかどうか、ステップ 3 には疑問があります。

4

1 に答える 1

1

そのため、これまでに見たことのない別のデータ セットに対してトレーニングがどのように行われるかを判断するためにトレーニングした後で実際にモデルをテストする場合を除き、eval を実行する必要はありません。また、データをオーバーフィットし始めているかどうかを判断するために歌っています。

したがって、通常はデータセット全体の 20 ～ 30% を取得し、評価プロセスに使用します。次に、トレーニング データに対してトレーニングを行います。完了したら、必要に応じてすぐにデコードを実行するか、最初から取っておいた 20% ～ 30% のデータセットに対して eval を実行できます。結果に満足したら、デコードを実行して結果を取得できます。

バイナリ形式は、トレーニング データと同じである必要があります。

于 2016-11-21T15:01:59.690 に答える