問題タブ [protocol-buffers]

Google のプロトコル バッファのデータ交換形式に関する情報を調べていたところです。誰かがコードをいじったり、プロジェクトを作成したりしましたか?

私は現在、テキスト エディターで手動で作成された構造化コンテンツ用の Python プロジェクトで XML を使用しています。ユーザー向けの入力形式としての Protocol Buffers に関する一般的な意見はどうなのか疑問に思っていました。速度と簡潔さの利点は確かにあるように見えますが、実際にデータを生成して処理するには非常に多くの要因があります。

ApacheThriftとGoogleのProtocolBuffersの最大の長所と短所は何ですか？

Google のProtocul Buffersを使用して、既に独自のデータ構造を持つ Java で記述されたサービスがあります。pb を使用してメッセージを配信したいのですが、Java にある既存のデータ構造を pb にシリアル化する方法を探しています。pb のすべてのデータ構造を最初から定義することから始めることができます。これはおそらく正しい方法ですが、怠けすぎます。Java (または他のサポートされている言語) の Person クラス、または数十の属性を持つ Plane クラスがあるとします。そのクラスを pb にシリアル化する方法はありますか? タイプ Plane の pb 属性を持つことはできますか? (Plane が pb でない場合は、Java クラスです)

トランスポート/プロトコルソリューションを検討しており、さまざまなパフォーマンステストを実行しようとしていたので、コミュニティがすでにこれを実行しているかどうかを確認したいと思いました。

Linux上のEJB3、Thrift、およびProtocol Buffersを比較して、単純なエコーサービスのサーバーパフォーマンステストや、さまざまなメッセージサイズのシリアル化/逆シリアル化を行った人はいますか？

主な言語は、Java、C / C ++、Python、およびPHPです。

更新：私はまだこれに非常に興味があります。誰かがさらにベンチマークを行った場合は、私に知らせてください。また、圧縮されたJSONがThrift / Protocol Buffersと同様の/優れたパフォーマンスを示していることを示す非常に興味深いベンチマークなので、この質問にもJSONを投入しています。

さまざまなプロセスとコンピューター間で渡される単純なデータ構造の多くのシリアル化と逆シリアル化を行う必要がある分散 C++ アプリケーションを構築しています。

複雑なクラス階層をシリアル化することには興味がありませんが、数値、文字列、データ ベクトルなどのいくつかの単純なメンバーを持つ構造体を送信することに関心があります。データ ベクトルは、多くの場合、数メガバイトの大きさになることがあります。テキスト/xml ベースの方法では遅すぎるのではないかと心配しています。文字列のエンコーディングや数値のエンディアンなどの問題により、見た目よりも複雑になる可能性があるため、自分でこれを書きたくありません。

プロトコル バッファと boost.serialize について少し調べてみました。ドキュメントによると、プロトコル バッファはパフォーマンスを重視しているようです。Boost は、この特定のプロジェクトに非常に便利なデータ形式を指定するための外部言語がないという意味で、やや軽量に見えます。

だから私の質問はこれに帰着します:私が上で説明した典型的なユースケースでブーストシリアライゼーションが速いかどうか誰か知っていますか?

また、これに適したライブラリが他にある場合は、それらについてお知らせいただければ幸いです。

専有スキーマの XML ファイルが多数あります。XML ファイルは、バイナリ通信プロトコル (メッセージ構造) を定義します。

Google のプロトコル バッファ テクノロジーを活用したいと考えています。

既存のコードを使用して XML ファイルをオブジェクト モデル (メモリ内) に読み込みます。そのオブジェクト モデルから .proto ファイルを生成したいと思います。

基本的に私が探しているのは、.proto ファイル形式をオブジェクト モデルとして表し、そのオブジェクト モデルを .proto ファイルに保存できるコード/ライブラリ (C#/.NET) です。

Jon Skeet の dotnet-protobufs を見てみましたが、それが何をするのか理解できたと思います (.proto ファイルに基づいて c# コードを生成します)。

ただし、自分のプロジェクトで使用できるかどうかはわかりませんでした (おそらく .proto 形式のオブジェクト モデルがありますが、おそらくこの形式を解析して書き出すことができないコードのみ)。

さて、これに対する最初の反応は「できない」または「分析を使用する」である可能性が高いことを認識していますが、誰かがそれ以上の洞察を持っていることを期待して続けます.

「自動タグ付け」を備えた Google アドワーズ広告は、「gclid」(おそらく「Google クリック ID」) をリンクに追加して、広告対象のサイトに移動します。これはクエリ パラメータであるため、ウェブ ログに表示され、その訪問を広告/キャンペーンに関連付けるために分析によって使用されます。

私がやりたいことは、トラフィックに関する独自の分析を行うために、gclid から有用な情報を抽出することです。その理由は次のとおりです。

• 統計は不完全ですが、それらを照合すると、どのような仮定を立て、どのように計算したかが正確にわかります。
• データを残りのデータに結び付けて、コンバージョン率に関してはるかに正確な統計を生成できます。
• 変換のために JavaScript に頼る必要はありません。

これで、gclid が base64 でエンコードされている (またはそれに近い亜種) ことは明らかであり、その一部は他の部分よりも大きく異なります。それを超えて、私はそれが何に関連しているのかを判断できませんでした.

私がこれを解読する方法についての洞察を持っている人はいますか、またはすでに gclid をコンペやアカウントに関連付けている人はいますか?

私はグーグルの何人かの人々と話しました.彼らのモットーは「悪にならないでください」にもかかわらず、彼らはNDAの下でさえ、この情報を漏らす可能性について議論することを完全に嫌がっていました. 彼らは私たちのウェブ統計を独占していることを気に入っているようです。

私は最近、プロトコルバッファについて知り、それらを私の特定の問題に適用できるかどうか疑問に思っていました。

基本的に、いくつかのファイルは数ギガであるため、ストレージ用にさらにコンパクトな形式に変換する必要があるいくつかのCSVデータがあります。

CSVの各フィールドにはヘッダーがあり、文字列と小数の2つのタイプしかありません（有効数字がたくさんあり、すべての数値を同じ方法で処理する必要があるため）。ただし、ファイルごとにフィールドごとに異なる列名が付けられます。

元のCSVデータをキャプチャするだけでなく、保存する前にファイルに追加情報を追加できるようにする必要があります。そして、私はさまざまなファイルバージョンを処理することによって、この将来の証拠を作ることを望んでいました。

では、プロトコルバッファを使用して、CSVファイルのようにランダムに名前が付けられたデータの列をランダムにキャプチャすることは可能ですか？

この質問に続いて、プロトコル バッファで System.Decimal オブジェクトを表す最良の方法は何でしょうか?

Google のプロトコル バッファは、本番環境の大規模な本番アプリケーションで使用されていますか?

使ってみての感想は？