1

私は倹約定義を書き、この定義を使用して複数のレコードを 1 つのファイルにシリアル化しました (各レコードの先頭にレコード全体のサイズを追加しました)。それが私がやったことです。

boost::shared_ptr<apache::thrift::transport::TMemoryBuffer> transport(new apache::thrift::transport::TMemoryBuffer);
boost::shared_ptr<apache::thrift::protocol::TBinaryProtocol> protocol(new apache::thrift::protocol::TBinaryProtocol(transport));

myClass->write(protocol.get());

const std::string & data(transport->getBufferAsString());

その後、文字列データをバイナリモードで出力するだけです。ここで、このファイルを再度デシリアライズしたいと思います。ファイルにレコードのみが含まれていれば問題ありませんが、残念ながら複数のファイルを印刷する必要があるため、ファイルに保存したサイズに基づいてオフセットを使用する必要があると思いますレコード自体。ただし、目標を達成するために使用できる例が見つからないようで、公式ドキュメントはかなり不足しています。誰でも私のためのヒントを持っています。情報が不足している場合は、お尋ねください。

詳細情報:

もちろん、 use thrift を使用してデシリアライズしたいと考えています。ただし、1 つのファイルに複数のレコードを含めることができます。例: car-Information を含むthrift-definition ファイルで構造体を定義したとします。これで、複数の car-structs を 1 つの出力ファイルにシリアル化できます。データを追加するだけなので、シリアル化は問題ありません。ただし、逆シリアル化したい場合は、あるレコードの開始位置と次のレコードの開始位置を知る必要があります。それが私の問題です。1 つのレコードの開始点と終了点を thrift に伝える方法がわかりません。私はインターネットを検索しましたが、c++ の例を見つけることができないようです (これまでのところ python の例を入手しましたが、それを c++ に変換することはできません)。1 つのファイルの構造は次のように記述できます。[レコードの長さ 1][レコード 1][レコードの長さ 2][レコード 2][...]

前もって感謝します

マイケル

4

2 に答える 2

2

全体としてデシリアライズすることはどうlist<records>ですか？それとも、それらを個別にランダムに読むことが絶対条件ですか? はいの場合、1.5 (1.5) の可能な解決策が表示されます。

  • 2 番目のファイルをインデックスとして用意します。これは、map< recordNumber, offset>レコードをすばやく見つけるために、または単純に整数とペアのソートされたリストを保持します。これらのデータはレコードよりもはるかに少ないため、おそらく常にメモリにキャッシュできます。

  • 半分の解決策: レコード サイズが固定されている場合、レコードの位置は を掛けることで簡単に計算できますrecordSize * (recordNr-1)。この方法では、サイズの接頭辞さえ必要ありません。レコードまたはその他の可変サイズのエンティティに文字列がある場合、事前定義された (最大) サイズで各レコードのバッファーを予約して固定レコード サイズを強制しない限り、これは機能しません。少し醜いので、「半分」の解決策ですが、インデックスファイルは必要ありません。

于 2013-11-07T18:44:53.303 に答える
0

完璧な解決策ではないかもしれませんが、これは私にとってはうまくいくようです:

    boost::shared_ptr<apache::thrift::transport::TMemoryBuffer> transport(new apache::thrift::transport::TMemoryBuffer);
    boost::shared_ptr<apache::thrift::protocol::TBinaryProtocol> protocol(new apache::thrift::protocol::TBinaryProtocol(transport));
    transport->resetBuffer((uint8_t*) buffer, sizeOfEntry);

Buffer は目的のレコードを含む char 配列で (オフセットには seekg を使用しました)、sizeOfEntry はレコード サイズです。その後、thrift で生成されたクラスの自動生成された read-Method を使用できます。実際、私は以前にこの解決策を持っていましたが、オフセットを台無しにしただけなので、うまくいきませんでした。

于 2013-11-07T15:58:53.600 に答える