3

Tensorflow Dataset API を使用して、tensorflow Hub を使用してデータセットを初期化したいと考えています。dataset.map 関数を使用して、テキスト データを埋め込みに変換したいと考えています。私の Tensorflow のバージョンは 1.14 です。

一連の文配列を単語埋め込みに変換する elmo v2 modlule を使用したため、次のコードを使用しました。

import tensorflow as tf
import tensorflow_hub as hub
...
sentences_array = load_sentences()
#Sentence_array=["I love Python", "python is a good PL"]
def parse(sentences):
    elmo = hub.Module("./ELMO")
    embeddings = elmo([sentences], signature="default", as_dict=True) 
    ["word_emb"]
    return embeddings
dataset = tf.data.TextLineDataset(sentences_array)
dataset = dataset.apply(tf.data.experimental.map_and_batch(map_func = 
parse, batch_size=batch_size))

[batch_size、max_words_in_batch、embedding_size] のようなテキスト配列を埋め込みたいのですが、次のようなエラー メッセージが表示されました。

"NotImplementedError: Using TF-Hub module within a TensorFlow defined 
 function is currently not supported."

期待される結果を得るにはどうすればよいですか?

4

1 に答える 1