ツイストのパワーと宣言型バイナリデータパーサーProtocolの延性を混ぜ合わせようとしています。construct
これまでのところ、私のMessageReceiverプロトコルは次の方法でtcpチャネルからのデータを蓄積します。
def rawDataReceived(self, data):
'''
This method bufferizes the data coming from the TCP channel in the following way:
- Initially, discard the stream until a reserved character is detected
- add data to the buffer up to the expected message length unless the reserved character is met again. In that case discard the message and start again
- if the expected message length is reached, attempt to parse the message and clear the buffer
'''
if self._buffer:
index = data.find(self.reserved_character)
if index > -1:
if len(self._buffer) + index >= self._fixed_size:
self.on_message(self._buffer + data[:data.index(self._reserved_character)])
self._buffer = b''
data = data[data.index(self.reserved_character):]
[self.on_message(chunks[:self._fixed_size]) for chunks in [self.reserved_character + msg for msg in data.split(self._reserved_character) if msg]]
elif len(self._buffer) + len(data) < self._expected_size:
self._buffer = self._buffer + data
else:
self._buffer = b''
else:
try:
data = data[data.index(self._reserved_character):]
[self.on_message(chunks[:self._fixed_size]) for chunks in [self._reserved_character + msg for msg in data.split(self._reserved_character) if msg]]
except Exception, exc:
log.msg("Warning: Maybe there is no delimiter {delim} for the new message. Error: {err}".format(delim=self._reserved_character, err=str(exc)))
今、私は、メッセージがオプションのフィールドを持っているかもしれないし、持っていないかもしれないという事実を考慮に入れるためにプロトコルを進化させる必要があります（したがって、固定メッセージ長はもうありません）。メッセージパーサー（の意味のある部分）をconstruct次のようにモデル化しました。
def on_message(self, msg):
return Struct(HEADER,
Bytes(HEADER_RAW, 3),
BitStruct(OPTIONAL_HEADER_STRUCT,
Nibble(APPLICATION_SELECTOR),
Flag(OPTIONAL_HEADER_FLAG),
Padding(3)
),
If(lambda ctx: ctx.optional_header_struct[OPTIONAL_HEADER_FLAG],
Embed(Struct(None,
Byte(BATTERY_CHARGE),
Bytes(OPTIONAL_HEADER, 3)
)
)
)
).parse(msg)
そのため、現在、バッファリングロジックを変更して、適切なチャンクサイズをに渡す必要がありStructます。メッセージの候補となる可能性のあるルールがオブジェクトでわかっていることを考慮してStruct、メソッドで渡されるデータのサイズを変更することは避けたいと思います。rawDataReceivedconstruct
バッファリングロジックをconstructオブジェクトにプッシュする方法はありますか？
編集
MacrosとAdaptersを使用するだけで、バッファリングロジックを内部にプッシュするという目的を部分的に達成することができました。
MY_PROTOCOL = Struct("whatever",
Anchor("begin"),
RepeatUntil(lambda obj, ctx:obj==RESERVED_CHAR, Field("garbage", 1)),
NoneOf(Embed(HEADER_SECTION), [RESERVED_CHAR]),
Anchor("end"),
Value("size", lambda ctx:ctx.end - ctx.begin)
)
rawDataReceivedこれにより、呼び出し元のコードが大幅に簡素化されます（ Glyphの提案のおかげでなくなりました）。
def dataReceived(self, data):
log.msg('Received data: {}'.format(bytes_to_hex(data)))
self._buffer += data
try:
container = My_PROTOCOL.parse(self._buffer)
self._buffer = self._buffer[container.size:]
d, self.d = self.d, self._create_new_transmission_deferred()
d.callback(container)
except ValidationError, err:
self._cb_error("A validation error occurred. Discarding the rest of the message. {}".format(err))
self._buffer = b''
except FieldError, err: #Incomplete message. We simply keep on buffering and retry
if len(self._buffer) >= MyMessageReceiver.MAX_GARBAGE_SIZE:
self._cb_error("Buffer overflown. No delimiter found in the stream")
残念ながら、エラーを発生させたストリームのインデックスを教えてもらう方法が見つからなかったため、このソリューションは要件を部分的にしかカバーしていconstructません。そのため、バッファ全体を削除する必要があります。これは理想的ではありません。