class AttLayer(Layer):
def __init__(self, **kwargs):
self.init = initializations.get('normal')
#self.input_spec = [InputSpec(ndim=3)]
super(AttLayer, self).__init__(** kwargs)
def build(self, input_shape):
assert len(input_shape)==3
#self.W = self.init((input_shape[-1],1))
self.W = self.init((input_shape[-1],))
#self.input_spec = [InputSpec(shape=input_shape)]
self.trainable_weights = [self.W]
super(AttLayer, self).build(input_shape) # be sure you call this somewhere!
def call(self, x, mask=None):
eij = K.tanh(K.dot(x, self.W))
ai = K.exp(eij)
weights = ai/K.sum(ai, axis=1).dimshuffle(0,'x')
weighted_input = x*weights.dimshuffle(0,1,'x')
return weighted_input.sum(axis=1)
def get_output_shape_for(self, input_shape):
return (input_shape[0], input_shape[-1])
self.W (レイヤーの重み) ではなく、クラスから注意の重みを取得することに興味があります。誰か教えてくださいどうすればいいですか?
これが私がしたことです:
MAX_SENT_LENGTH=40
モデルを次のように作成しようとすると:
sentEncoder =Model(sentence_input,weighted_inp)
次のエラーがスローされます。
Model への出力テンソルは Keras tensor でなければなりません。見つかった: Sum{axis= 1 , acc_dtype=float64}.0