私はPython 3.5、ローショットMicroSoft Celeb1Mデータセット、 Tensorflow 1.4を使用しており、画像分類タスクで新しい Dataset API を使用したいと考えています。
このフォームを持つデータセット (エピソード) を構築する必要があります。これには、さまざまなクラスの数と各クラスのサンプル数を含む(N*k + 1)画像が含まれています。目標は、それぞれがサンプルで表されるクラスの中で、最後の画像を正しいクラスに分類することです。NkNk
そのために、ハード ドライブに 16,000 個の tfrecords があり、それぞれ約 20 MB です。各 TFRecord には、クラスの画像 (約 50 ～ 100 枚) が含まれています。
Nファイルをランダムに選択し、次にkそれぞれの画像をランダムに選択して混合し、最終的な画像を選択してN、サンプルとは異なるクラスに分類したいと考えています。そのために、「ネイティブ」Python コードと Tensorflow Dataset API メソッドを組み合わせました。
問題は、私が書いた解決策が完了するまでに非常に長い時間がかかることです。このようなデータセットを作成するために私が書いた作業コードを次に示します。この例では、ハード ドライブから 20 個のファイルのみを取得します。
import tensorflow as tf
import os
import time
import numpy.random as rng
#Creating a few variables
data_dir = '/fastdata/Celeb1M/'
test_data = [data_dir + 'test/'+ elt for elt in os.listdir(data_dir + '/test/')]
# Function to decode TFRecords
def read_and_decode(example_proto):
features = tf.parse_single_example(
example_proto,
features = {
'image': tf.FixedLenFeature([], tf.string),
'label': tf.FixedLenFeature([], tf.int64),
'height': tf.FixedLenFeature([], tf.int64),
'width': tf.FixedLenFeature([], tf.int64),
'channels': tf.FixedLenFeature([], tf.int64)
})
image = tf.decode_raw(features['image'], tf.uint8)
image = tf.cast(image, tf.float32) * (1. / 255)
height = tf.cast(features['height'], tf.int32)
width = tf.cast(features['width'], tf.int32)
channels = tf.cast(features['channels'], tf.int32)
image = tf.reshape(image, [height, width, channels])
label = tf.cast(features['label'], tf.int32)
return image, label
def get_episode(classes_per_set, samples_per_class, list_files):
"""
:param data_pack : train, val or test
:param classes_per_set : N-way classification
:param samples_per_class : k-shot classification
:param list_files : list of length classes_per_set of files containing examples
:return : an episode containing classes_per_set * samples_per_class + 1 image to classify among the N*k other
"""
assert classes_per_set == len(list_files)
dataset = tf.data.TFRecordDataset(list_files[-1]).map(read_and_decode) \
.shuffle(100)
elt_to_classify = dataset.take(1)
rng.shuffle(list_files)
episode = tf.data.TFRecordDataset([list_files[-1]]) \
.map(read_and_decode) \
.shuffle(100) \
.take(1)
_ = list_files.pop()
for class_file in list_files:
element = tf.data.TFRecordDataset([class_file]) \
.map(read_and_decode) \
.shuffle(150) \
.take(1)
episode = episode.concatenate(element)
episode = episode.concatenate(elt_to_classify)
return episode
#Testing the code
episode = get_episode(20, 1, test_data)
start = time.time()
iterator = episode.make_one_shot_iterator()
end = time.time()
print("time elapsed: ", end - start)
"""
Result :
starting to build one_shot_iterator
time elapsed: 188.75095319747925
"""
時間がかかりすぎるステップは、反復子の初期化です。エピソードのバッチ処理で構成される私の完全なコードでは、約 15 分かかります。この問題は、評価が原因である可能性が最も高いことに気付きepisode.output_shapesました。最後に a を実行するだけprint(episode.output_shapes)でも時間がかかります (ただし、イテレータの初期化よりも時間がかかります)。
さらに、私は Docker で作業しており、イテレータが初期化されているとき、CPU が100 %ステップ全体で 100% であることを確認できます。
その原因は、ネイティブの Python コードと Tensorflow 操作の混在であり、CPU でボトルネックを引き起こす可能性があるのではないかと考えていました。
Dataset API を扱うことは、Tensorflow Graph にOperation ノードtf.Session().run()を作成することであり、Dataset は.
詳細については、試しました：
episode = dataset.get_episode(50, 1, test_data[:50])
iterator = episode.make_one_shot_iterator()
3時間経っても終わらない。コードを停止しました。ここに TraceBack があります (次のように繰り返されるいくつかのブロックを編集しましたreturn self._as_variant_tensor():
KeyboardInterrupt Traceback (most recent call last)
<ipython-input-8-550523c179b3> in <module>()
2 print("there")
3 start = time.time()
----> 4 iterator = episode.make_one_shot_iterator()
5 end = time.time()
6 print("time elapsed: ", end - start)
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in make_one_shot_iterator(self)
110 return self._as_variant_tensor() # pylint: disable=protected-access
111
--> 112 _make_dataset.add_to_graph(ops.get_default_graph())
113
114 return iterator_ops.Iterator(
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/framework/function.py in add_to_graph(self, g)
484 def add_to_graph(self, g):
485 """Adds this function into the graph g."""
--> 486 self._create_definition_if_needed()
487
488 # Adds this function into 'g'.
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/framework/function.py in _create_definition_if_needed(self)
319 """Creates the function definition if it's not created yet."""
320 with context.graph_mode():
--> 321 self._create_definition_if_needed_impl()
322
323 def _create_definition_if_needed_impl(self):
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/framework/function.py in _create_definition_if_needed_impl(self)
336 # Call func and gather the output tensors.
337 with vs.variable_scope("", custom_getter=temp_graph.getvar):
--> 338 outputs = self._func(*inputs)
339
340 # There is no way of distinguishing between a function not returning
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in _make_dataset()
108 @function.Defun(capture_by_value=True)
109 def _make_dataset():
--> 110 return self._as_variant_tensor() # pylint: disable=protected-access
111
112 _make_dataset.add_to_graph(ops.get_default_graph())
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in _as_variant_tensor(self)
998 # pylint: disable=protected-access
999 return gen_dataset_ops.concatenate_dataset(
-> 1000 self._input_dataset._as_variant_tensor(),
1001 self._dataset_to_concatenate._as_variant_tensor(),
1002 output_shapes=nest.flatten(self.output_shapes),
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in output_shapes(self)
1006 @property
1007 def output_shapes(self):
-> 1008 return nest.pack_sequence_as(self._input_dataset.output_shapes, [
1009 ts1.most_specific_compatible_shape(ts2)
1010 for (ts1, ts2) in zip(
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in output_shapes(self)
1009 ts1.most_specific_compatible_shape(ts2)
1010 for (ts1, ts2) in zip(
-> 1011 nest.flatten(self._input_dataset.output_shapes),
1012 nest.flatten(self._dataset_to_concatenate.output_shapes))
1013 ])
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/ops/dataset_ops.py in output_shapes(self)
1009 ts1.most_specific_compatible_shape(ts2)
1010 for (ts1, ts2) in zip(
-> 1011 nest.flatten(self._input_dataset.output_shapes),
1012 nest.flatten(self._dataset_to_concatenate.output_shapes))
1013 ])
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/util/nest.py in pack_sequence_as(structure, flat_sequence)
239 return flat_sequence[0]
240
--> 241 flat_structure = flatten(structure)
242 if len(flat_structure) != len(flat_sequence):
243 raise ValueError(
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/util/nest.py in flatten(nest)
133 A Python list, the flattened version of the input.
134 """
--> 135 return list(_yield_flat_nest(nest)) if is_sequence(nest) else [nest]
136
137
~/miniconda2/envs/dljupyter/lib/python3.5/site-packages/tensorflow/python/data/util/nest.py in is_sequence(seq)
118 """
119 return (isinstance(seq, (_collections.Sequence, dict))
--> 120 and not isinstance(seq, (list, _six.string_types)))
121
122
KeyboardInterrupt:
イテレータの初期化に時間がかかる理由を知りたいのですが、初期化がどのように機能するか、およびグラフの作成時に正確に何が評価されるかについて、多くの情報を見つけることができませんでした。
純粋にメソッドだけでは目的を達成できませんでしたが、メソッド (このスレッドtf.data.Datasetで使用されたもの) はまだ試していません。tf.data.Dataset.flat_map()/interleave()