問題タブ [avro]

Avro 1.4.0 を使用して、Python avro バインディングと boto S3 ライブラリを介して S3 からデータを読み取ります。boto によって返されたオブジェクトのようなファイルで avro.datafile.DataFileReader を開くと、seek() を試行するとすぐに失敗します。今のところ、S3 オブジェクトを一時ファイルに読み込むことで、この問題を回避しています。

read() をサポートする任意の Python オブジェクトをストリーミングできるようにしたいと考えています。誰でもアドバイスを提供できますか？

これらはすべて、バイナリのシリアル化、RPC フレームワーク、および IDL を提供します。それらと特性 (パフォーマンス、使いやすさ、プログラミング言語のサポート) の主な違いに興味があります。

他の同様の技術を知っている場合は、回答に記載してください。

このビデオ（29:00）で、RackspaceのEric Evansは、ThriftとAvroを使用するのは悪い考えだと視聴者に伝えています。代わりに、彼は慣用的なクライアントライブラリの使用を提唱しています。

http://video.disruptivecode.com/video/840645/what-makes-cassandra-trick

私たちは主にPHPでコーディングしています。ThriftやAvroを使用せずにPHPをCassandraに接続するにはどうすればよいですか？

エリックが言及している慣用的なクライアントライブラリは次のとおりです。

• ペロプス、ヘクター（Java）
• Pycassa（Python）
• カサンドラ（ルビー）
• その他...他はどれですか？

次のスキーマがあるとします。

作成される各プロファイルを表すために GenericRecord を使用しています。firstName を追加するには、次のようにすると簡単です。

しかし、たとえば、どのように都市を設定するのでしょうか? キーを r.put メソッドが理解できる文字列として表すにはどうすればよいですか?

ありがとう

Map Reduce で Avro の使用を開始したいと考えています。誰かが始めるのに良いチュートリアル/例を提案できますか. インターネット検索ではあまり見つかりませんでした。

次のコードは、単純にデータを avro 形式に書き込み、書き込まれた avro ファイルから同じものを読み取って表示します。Hadoop 決定版ガイドブックの例を試してみました。初めて実行できました。その後、次のエラーが発生しました。初めて機能しました。だから、私が犯している間違いはわかりません。

これは例外です:

これはコードです：

以下は、Pair.avsc ファイルです [本のサンプル コードに記載されています]。

現在、いくつかの C++ バイナリで動作する Java の Hadoop ジョブがあります。NFS と C++ にファイルを書き込み、Java がそれらを読み取ります。これが私たちの通信形式であり、スケーリングを妨げています。NFS のことから逃れるために、Proto Buff、Thrift、Avro を調べています。このアプローチは、NFS アプローチよりも確実に優れていますよね?

avroライブラリを使用してavroファイルからいくつかのデータを読み取っています。ファイルから33Kオブジェクトをロードするのに約1分かかります。これは私には非常に遅いように思えます。特に、Javaバージョンが同じファイルを約1秒で読み取る場合はそうです。

これがコードです、私は何か間違ったことをしていますか？

Javaプログラム（jackson）のJSON出力をデコードしようとしていますが、いくつか問題があります。問題の原因は次のスニペットです。

これが原因ValueError: Invalid \uXXXX escapeです。

これを修正する方法について何かアイデアはありますか？

編集：出力はAvroファイルからのものであり、Avroパッケージはjacksonを使用してレコードをJSONとして出力します。
EDIT2：ソースファイルを調べた後、JSONが手動で作成されている場合があります（申し訳ありませんが、jackson）。

Apache Avroのコード生成ツール（つまり、Pythonスクリプト）を使用してC++ヘッダーを生成することに興味があります。ドキュメントによると、それはかなり簡単なはずですが、私は通常Pythonを使用しないので、物事は私にはちょっと奇妙に見えます。

指示は次のように述べています。

コードを生成するには、2段階のプロセスが必要です。

プリコンパイルステップは、スキーマをコードジェネレーターで使用される中間形式に変換します。この中間ファイルは、スキーマのテキストベースの表現であり、スキーマタイプのツリー構造の深さ優先探索によってフラット化されています。

これにより、コードジェネレーターは、フラット化されたスキーマを入力として読み取り、example.hhにC++ヘッダーファイルを生成するように指示されます。オプションの引数名前空間は、オブジェクトをその名前空間に配置します...

私の問題（いいえ、医者に診てもらったり、クリームを使ったりすることはできません）：

プリコンパイルの方法を詳しく説明しているものは何もありません。ドキュメントでは、コマンドプロンプトに「precompile」と入力してコマンドライン引数を指定すると、魔法のように機能するように見えますが、precompileは有効なWindowsコマンドではありません。では、Windowsでプリコンパイルする適切な方法は何ですか？誰かがそれを行う方法を知っているなら、私に知らせてください！

また、 gen-cppcode.pyスクリプトを実行しようとしましたが、316行目でエラーが発生します（スキーマをプリコンパイルしなかったために発生している可能性があります）。