問題タブ [textsum]

tensorflow テキスト要約モデルを読むと、 「以下で説明する結果は、マルチ GPU およびマルチマシン設定でトレーニングされたモデルに基づいています。オープンソースの目的で、1 台のマシンでのみ実行するように簡略化されています。」

さらにガイドでは、このコマンドが呼び出されます：

このコマンドは cuda/gpu に関連していませんか? このコマンドが切り詰められているのはなぜですか?

テンソルフロードッカーインスタンスを使用してテンソルフロー要約モデルを呼び出すことはできますか?

モデルのドキュメントでは、モデルをbazel build構築する手順の一部としての使用について言及しています。ただし、このモデルはマスター上にあるため、tensorflow docker コンテナーを実行しても、コンテナーがソースからビルドされていない限り、要約モデルを実行することはできません。

TextSum モデル用の独自のトレーニング データを作成しようとしています。私の理解では、記事と要約をバイナリ ファイル (TFRecords) に入れる必要があります。ただし、生のテキスト ファイルから独自のトレーニング データを作成することはできません。フォーマットがよくわからないので、次のコードを使用して非常に単純なバイナリ ファイルを作成しようとしています。

そして、次のコードを使用して、この test_data ファイルの値を読み取ろうとしました

しかし、私は常に次のエラーが発生します。

何が悪いのかわかりません。この問題を解決するための提案があれば教えてください。

Tensorflow テキスト要約ドキュメントのセットアップを読む: https://github.com/tensorflow/models/tree/master/textsumと記載されていますclone the code to your workspace and create empty WORKSPACE file.

新しいフォルダーを作成し、https://github.com/tensorflow/tensorflow.gitをこのフォルダーに複製しました。「コードをワークスペースに複製する」とはどういう意味ですか? 空のワークスペース ファイルとは何ですか? 'WORKSPACE' という名前の空のファイルですか?

このリンクをたどって textsum を使用しています。提供されたコマンドを使用してモデルをトレーニングしました。しかし、「textsum/log_root/」ディレクトリに「train」フォルダがありません。トレーニングはサンプル ファイルで行われるため、モデルはリアルタイムのテスト データで機能しますか? そうでない場合、トレーニング データを作成してモデルをトレーニングするにはどうすればよいですか? そして最も重要なのは、モデルをテスト/使用して結果の要約を確認するにはどうすればよいですか?

バイナリ データとギガワード データの両方を使用して textsum をテストし、モデルをトレーニングしてテストしました。ビーム検索デコーダーは、データとモデルの両方のセットですべての「UNK」結果を提供します。デフォルトのパラメータ設定を使用していました。

最初に、data.py と batch_reader.py のデータ インターフェイスを変更して、ギガワード データセットから記事と要約を読み取って解析しました。約 170 万のドキュメントで 90,000 を超えるミニバッチでモデルをトレーニングしました。次に、別のテスト セットでモデルをテストしましたが、すべての結果が返されました。 ギガワードでトレーニングされたモデルからのデコーダーの結果

次に、textsum コードに付属するバイナリ データを使用して、1,000 個未満のミニバッチで小さなモデルをトレーニングしました。同じバイナリデータでテストしました。いくつかの「for」と「.」を除いて、すべての結果がデコード ファイルに表示されます。 バイナリ データ でトレーニングされたモデルからのデコーダーの結果 トレーニングの損失に関するテンソルボードも表示し、トレーニングが収束したことを示しています。

トレーニングとテストでは、デフォルト設定を変更しませんでした。私と同じことを試して、同じ問題を見つけた人はいますか?

TensorFlow textsum モデルを実行しようとしています

トレーニングはうまくいきましたが、モデルの作成者から提供されたおもちゃのデータを使用して「デコード」モードを実行しようとすると、次のエラーが発生します。

デコードを行うために実行するコマンド:

その原因は何ですか？

CUDA7.5

CUDNN 5.1

テンソルフロー 0.10

更新: GitHub の問題に関するコメントに基づいて、TensorFlow の以前のバージョン: 0.9 をインストールしようとしました: https://github.com/tensorflow/models/issues/417 問題の解決に役立ちました。バージョン 0.10 で動作しない理由はまだわかりません。

指定されたおもちゃのデータセットを使用してモデルをトレーニングします。結果をすぐに確認するために、おもちゃのデータセットから 1 つの記事だけをテストしてみました。ある記事でテストしたとき、デコーダーは結果として他の記事 (私がトレーニングで使用した他の記事) の要約を提供していますが、これは私がテストしたものとはまったく関係ありません。

例: 私のテスト記事はthe sri lankan government ...

そして要約は sri lanka closes schools as war escalates

しかし、デコーダーはこれを与えました output=outdrink germans [UNK] in stakes。

テスト用に複数の記事で試してみたところ、デコーダーは結果として他の記事の要約を提供しています。誰もが同様の問題を抱えていましたか? 私が行方不明または間違っていることはありますか?

ここで私が失敗している場所を誰かが見ることができることを望んでいました。だから私はバズフィードからいくつかのデータをこすり落としました.今、私はdata_convert_examples text_to_dataフォーマッタに送信できるテキストファイルをフォーマットしようとしています.

何度か答えが得られたと思ったのですが、これをバイナリとして処理してからデータに対してトレーニングしようとすると、まだレンガの壁にぶつかっています。

私がしたことは、おもちゃのデータセットで binary_to_text を実行し、Windows の下のメモ帳 ++ でファイルを開き、すべての文字を表示し、形式と思われるものと一致させました。

以下の長い機能についてはお詫びしますが、問題がどこにあるかについては本当に確信が持てず、これが十分な情報を提供する最良の方法であると考えました. 誰にもアイデアや推奨事項はありますか？

私は tensorflow の textsum (テキスト要約モデル) に取り組んでいます。サンプルデータ、つまりgitからのクローン作成中にモデルに提供されたおもちゃのデータセットを使用してモデルをトレーニングするために実行しました。モデルをトレーニングし、サンプル データセットを使用してデコードするのにどれくらいの時間がかかるか知りたいです。すでに 17 時間以上かかっていますが、まだ実行中です。