1

この問題は、data_convert_example.py を介してバイナリに変換された独自のデータセットに対してトレーニングを実行するときに見られます。1 週間のトレーニングの後、デコード ファイルと ref ファイルを比較しても意味のないデコード結果が得られました。

誰かが成功し、独自のデータを使用して Textsum の readme に投稿されているものと同様の結果を得た場合は、環境、tf ビルド、記事の数など、何がうまくいったかを知りたいです。

現在、0.11 ではうまくいきませんでしたが、0.9 でいくつかの結果が得られましたが、デコード結果は以下に示すものと似ており、どこから来たのかさえわかりません。

現在、Ubuntu 16.04、TF 0.9、CUDA 7.5、および CuDnn 4 を実行しています。TF 0.11 を試しましたが、他の問題に対処していたため、0.9 に戻りました。有効な記事からデコード結果が生成されているように見えますが、参照ファイルとデコード ファイルのインデックスには相関関係がありません。

誰かが助けや方向性を提供できるなら、それは大歓迎です。それ以外の場合は、何かわかりましたら、ここに投稿します。

いくつかの最終的な質問。参照しているvocabファイルについて。単語の頻度でソートする必要はまったくありますか？生成時にこれらの行に沿って何も実行したことがなく、これが何かをスローするかどうかもわかりませんでした.

最後に、データを生成する際に、トレーニング データの記事を小さなバッチに分割する必要があると仮定しました。記事をそれぞれ 100 記事の複数のファイルに分けました。これらは、data-0、data-1 などと名付けられました。また、すべての語彙を 1 つのファイルに保存しましたが、エラーは発生していないようです。

上記の仮定も正しいですか？

以下は、非常に奇妙で、相関関係がないように見えるいくつかの参照とデコードの結果です。

デコード:

output=Wild Boy Goes About How I Can't Be Really Go For Love 
output=State Department defends the campaign of Iran
output=John Deere sails profit - Business Insider  
output=to roll for the Perseid meteor shower
output=Man in New York City in Germany

参照：

output=Battle Chasers: Nightwar Combines Joe Mad's Stellar Art With Solid RPG Gameplay
output=Obama Meets a Goal That Could Literally Destroy America
output=WOW! 10 stunning photos of presidents daughter Zahra Buhari   
output=Koko the gorilla jams out on bass with Flea from Red Hot Chili Peppers  
output=Brenham police officer refused service at McDonald's
4

1 に答える 1

0

これは自分で答えるつもりです。ここでの問題は、トレーニング データの不足だったようです。最終的に、vocab ファイルをソートすることになりましたが、これは必要ないようです。これが行われた理由は、エンド ユーザーが必要に応じて語彙を 20 万語程度に制限できるようにするためでした。

上記の問題の最大の理由は、単純にデータの不足でした。元の投稿でトレーニングを実行したとき、私は 40,000 件以上の記事を扱っていました。これで十分だと思っていましたが、明らかにそうではありませんでした。コードを深く掘り下げて、何が起こっているのかをよりよく理解すると、これはさらに明白になりました。最終的に、記事の数を 130 万以上に増やし、980GTX で約 1 週間半トレーニングしたところ、平均損失が約 1.6 から 2.2 になりました。はるかに良い結果が見られました。

私はこれを学んでいますが、「テスト」データに対して「評価」を実行すると、平均損失はトレーニングで見られるものに近くなるはずであると私が行った読み取りで述べたため、上記の平均損失で停止しました。これは、これらが大きく離れている場合に過適合に近づいているかどうかを判断するのに役立ちます。私が学んでいるので、これも一粒の塩で考えてください。

私が苦労して学んだ最後のメモはこれです。必ず最新の 0.11 Tensorflow バージョンにアップグレードしてください。私はもともと 0.9 を使用してトレーニングを行っていましたが、モデルを tensorflow 用にエクスポートする方法を見つけようとしたときに、そのレポに export.py ファイルがないことがわかりました。0.11 にアップグレードすると、チェックポイント ファイルの構造が 0.11 で変更されたように見え、トレーニングにさらに 2 週間かかることがわかりました。そのため、RC 中に見られた多くの問題が解決されているので、アップグレードすることをお勧めします。まだ is_tuple=false を設定する必要がありましたが、それはさておき、すべてうまくいきました。これが誰かに役立つことを願っています。

于 2016-11-29T00:50:05.313 に答える