問題タブ [tensorflow-datasets]

データセット API とともに tensorflow ステージング エリアを取り込もうとしています。

数百のステップを完了した後、以下のエラーが発生します。

スタックトレース：

ファイル「timit_trainer.py」、5 行目、timit_trainer.train() ファイル「/mnt/sdc/nlp/workspace/hci/nlp/mapc/core/model/model.py」、43 行目、train hparams=self .hyper_params # HParams ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/learn_runner.py"、218 行目、実行中 return _execute_schedule(experiment, schedule) ファイル " /usr/local/lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/learn_runner.py」、46 行目、_execute_schedule return task() ファイル「/usr/local/lib/python3. 5/dist-packages/tensorflow/contrib/learn/python/learn/experiment.py"、625 行目、train_and_evaluate self.train(delay_secs=0) ファイル"/usr/local/lib/python3.5/dist-packages /tensorflow/contrib/learn/python/learn/experiment.py"、367 行目、train hooks=self._train_monitors + extra_hooks 内) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/experiment.py"、807 行目、_call_train hooks=hooks 内) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/estimator/estimator.py"、302 行目、train loss = self._train_model(input_fn, hooks, Saving_listeners) ファイル "/usr /local/lib/python3.5/dist-packages/tensorflow/python/estimator/estimator.py"、783 行目、_train_model _、損失 = mon_sess.run([estimator_spec.train_op, estimator_spec.loss]) ファイル"/ usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py"、521 行目、実行中 run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages /tensorflow/python/training/monitored_session.py",行 892、実行中 run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py"、行 967、実行中 raise six.reraise(*original_exc_info)ファイル「/usr/local/lib/python3.5/dist-packages/six.py」、693行目、値を上げ直すファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/python/」 training/monitored_session.py"、952 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session .py」、1032 行目、run_metadata=run_metadata)) ファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/monitors.py」、1196 行目after_run Induce_stop = m.step_end(self._last_step, result) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/monitors.py"、356 行目、step_end で self.every_n_step_end(step, output) を返すファイル "/usr/local /lib/python3.5/dist-packages/tensorflow/contrib/learn/python/learn/monitors.py"、694 行目、every_n_step_end validation_outputs = self._evaluate_estimator() ファイル"/usr/local/lib/python3.5 /dist-packages/tensorflow/contrib/learn/python/learn/monitors.py"、665 行目、_evaluate_estimator name=self.name 内) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/ python/estimator/estimator.py"、355 行目、評価名 = 名前) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/estimator/estimator.py"、839 行目_evaluate_model config=self._session_config) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/evaluation.py"、206 行目、_evaluate_once session.run(eval_ops, feed_dict) ファイル"/usr/local/lib/python3.5/dist-packages/tensorflow/python /training/monitored_session.py"、521 行目、実行中 run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py"、892 行目、実行中run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py", 行 967, in run raise six.reraise(*original_exc_info) ファイル "/usr/ local/lib/python3.5/dist-packages/six.py"、693 行目、リレイズ レイズ値ファイル"/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py "、952 行目、実行中の return self._sess.run(*args, **kwargs) File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py", line 1024, in run_metadata=run_metadata) File "/usr /local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session.py"、827 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/ lib/python3.5/dist-packages/tensorflow/python/client/session.py"、889 行目、実行中 run_metadata_ptr) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client /session.py"、1105 行目、_run self._graph、fetches、feed_dict_tensor、feed_handles=feed_handles) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py" 、414行目、5/dist-packages/tensorflow/python/training/monitored_session.py"、1024 行目、実行中 run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session .py"、827 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py" 、889 行目、実行中 run_metadata_ptr) ファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py」、1105 行目、_run self._graph、fetches、feed_dict_tensor、feed_handles =feed_handles) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、414 行目5/dist-packages/tensorflow/python/training/monitored_session.py"、1024 行目、実行中 run_metadata=run_metadata) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/training/monitored_session .py"、827 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py" 、889 行目、実行中 run_metadata_ptr) ファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py」、1105 行目、_run self._graph、fetches、feed_dict_tensor、feed_handles =feed_handles) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、414 行目5/dist-packages/tensorflow/python/training/monitored_session.py"、827 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/lib/python3.5/dist -packages/tensorflow/python/client/session.py", 行 889, 実行中 run_metadata_ptr) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", 行1105、_run self._graph、fetches、feed_dict_tensor、feed_handles=feed_handles で) ファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py」、414 行目5/dist-packages/tensorflow/python/training/monitored_session.py"、827 行目、実行中 return self._sess.run(*args, **kwargs) ファイル "/usr/local/lib/python3.5/dist -packages/tensorflow/python/client/session.py", 行 889, 実行中 run_metadata_ptr) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", 行1105、_run self._graph、fetches、feed_dict_tensor、feed_handles=feed_handles で) ファイル「/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py」、414 行目5/dist-packages/tensorflow/python/client/session.py"、1105 行目、_run self._graph、fetches、feed_dict_tensor、feed_handles=feed_handles) ファイル "/usr/local/lib/python3.5/dist-packages /tensorflow/python/client/session.py」の 414 行目5/dist-packages/tensorflow/python/client/session.py"、1105 行目、_run self._graph、fetches、feed_dict_tensor、feed_handles=feed_handles) ファイル "/usr/local/lib/python3.5/dist-packages /tensorflow/python/client/session.py」の 414 行目init self._fetch_mapper = _FetchMapper.for_fetch(fetches) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、236 行目、for_fetch で _DictFetchMapper(fetch) ファイルを返す「/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py」、374 行 目、fetches.values() のフェッチの初期化] ファイル「/usr/local/lib / python3.5/dist-packages/tensorflow/python/client/session.py"、374 行目、fetches.values() のフェッチの場合] ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow /python/client/session.py"、234 行目、for_fetch return _ListFetchMapper(fetch) ファイル内"/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、341 行目、初期化中 self._mappers = [_FetchMapper.for_fetch(fetch) for fetches in fetches] ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、341 行目、self. _mappers = [_FetchMapper.for_fetch(fetch) for fetches] ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、234 行目、for_fetch で return _ListFetchMapper( fetch) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、341 行目、init self._mappers = [_FetchMapper.for_fetch(fetch) for fetches in fetches] ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、341 行目、self. _mappers = [_FetchMapper.for_fetch(fetch) for fetches] ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、242 行目、for_fetch で return _ElementFetchMapper( fetches, contraction_fn) ファイル "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py"、278 行目、init 'Tensor. (%s)' % (fetch, str(e))) ValueError: フェッチ引数をテンソルとして解釈できません。(操作名：「StagingArea_put」

コード：

デフ読み取り (自己、カテゴリ: DatasetCategory、デバイス: リスト、proc_device: str、シャッフル = False):

私はPython 3.5、ローショットMicroSoft Celeb1Mデータセット、 Tensorflow 1.4を使用しており、画像分類タスクで新しい Dataset API を使用したいと考えています。

このフォームを持つデータセット (エピソード) を構築する必要があります。これには、さまざまなクラスの数と各クラスのサンプル数を含む(N*k + 1)画像が含まれています。目標は、それぞれがサンプルで表されるクラスの中で、最後の画像を正しいクラスに分類することです。NkNk

そのために、ハード ドライブに 16,000 個の tfrecords があり、それぞれ約 20 MB です。各 TFRecord には、クラスの画像 (約 50 ～ 100 枚) が含まれています。

Nファイルをランダムに選択し、次にkそれぞれの画像をランダムに選択して混合し、最終的な画像を選択してN、サンプルとは異なるクラスに分類したいと考えています。そのために、「ネイティブ」Python コードと Tensorflow Dataset API メソッドを組み合わせました。

問題は、私が書いた解決策が完了するまでに非常に長い時間がかかることです。このようなデータセットを作成するために私が書いた作業コードを次に示します。この例では、ハード ドライブから 20 個のファイルのみを取得します。

時間がかかりすぎるステップは、反復子の初期化です。エピソードのバッチ処理で構成される私の完全なコードでは、約 15 分かかります。この問題は、評価が原因である可能性が最も高いことに気付きepisode.output_shapesました。最後に a を実行するだけprint(episode.output_shapes)でも時間がかかります (ただし、イテレータの初期化よりも時間がかかります)。

さらに、私は Docker で作業しており、イテレータが初期化されているとき、CPU が100 %ステップ全体で 100% であることを確認できます。

その原因は、ネイティブの Python コードと Tensorflow 操作の混在であり、CPU でボトルネックを引き起こす可能性があるのではないかと考えていました。

Dataset API を扱うことは、Tensorflow Graph にOperation ノードtf.Session().run()を作成することであり、Dataset は.

詳細については、試しました：

3時間経っても終わらない。コードを停止しました。ここに TraceBack があります (次のように繰り返されるいくつかのブロックを編集しましたreturn self._as_variant_tensor():

イテレータの初期化に時間がかかる理由を知りたいのですが、初期化がどのように機能するか、およびグラフの作成時に正確に何が評価されるかについて、多くの情報を見つけることができませんでした。

純粋にメソッドだけでは目的を達成できませんでしたが、メソッド (このスレッドtf.data.Datasetで使用されたもの) はまだ試していません。tf.data.Dataset.flat_map()/interleave()

私が見た tensorflow のすべてのチュートリアルでは、MNIST データセットを使用しました。モデリングは理解しましたが、このデータセットを tensorflow にロードするにはどうすればよいですか? https://www.nist.gov/itl/iad/image-group/emnist-dataset