問題タブ [camus]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - camus がオフセット値を増加させないようにする
オフセット値の増加を防ぎcamus、常に前の値を読み取るようにする方法はありますか?
また、一般的な形式の代わりに作成されるファイルにカスタム名を付ける方法はtopic.leaderId.partitionId.partitioner.encodePartition(context, key)?
hadoop - カフカでのcamus-example work
私のユースケースは、Avro データを Kafka から HDFS にプッシュすることです。Camus は適切なツールのようですが、機能させることができません。私はcamusが初めてで、camus-exampleを機能させようとしてい ますhttps://github.com/linkedin/camus
今、camus-example を機能させようとしています。しかし、私はまだ問題に直面しています。
DummyLogKafkaProducerClient のコード スニペット
インスタンス化例外を与えていたため、DummySchemaRegistryのデフォルトの引数なしコンストラクターも追加されました
プログラムの実行後に取得する例外トレースの下
スレッド「メイン」の例外 com.linkedin.camus.coders.MessageEncoderException: org.apache.avro.AvroRuntimeException: org.apache.avro.AvroRuntimeException: フィールド ID タイプ:LONG pos:0 が設定されておらず、com にデフォルト値がありません。 linkedin.camus.etl.kafka.coders.KafkaAvroMessageEncoder.init(KafkaAvroMessageEncoder.java:55) com.linkedin.camus.example.schemaregistry.DummyLogKafkaProducerClient.get_DUMMY_LOG_Encoder(DummyLogKafkaProducerClient.java:57) at com.linkedin.camus.example. schemaregistry.DummyLogKafkaProducerClient.main(DummyLogKafkaProducerClient.java:32) 原因: org.apache.avro.AvroRuntimeException: org.apache.avro.AvroRuntimeException: フィールド ID タイプ:LONG pos:0 が設定されておらず、com.linkedin にデフォルト値がありません.camus.example.records.DummyLog$Builder.build(DummyLog.java:214) com.linkedin.camus.example.schemaregistry.DummySchemaRegistry.(DummySchemaRegistry.java:16) の sun.reflect.NativeConstructorAccessorImpl.newInstance0(ネイティブ メソッド) の sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) の sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl) .java:45) で java.lang.reflect.Constructor.newInstance(Constructor.java:408) で java.lang.Class.newInstance(Class.java:438) で com.linkedin.camus.etl.kafka.coders. KafkaAvroMessageEncoder.init(KafkaAvroMessageEncoder.java:52) ... 2 つ以上 原因: org.apache.avro.AvroRuntimeException: フィールド ID タイプ:LONG pos:0 が設定されておらず、org.apache.avro.data にデフォルト値がありません。 com.linkedin.camus.example.records.DummyLog$Builder の RecordBuilderBase.defaultValue(RecordBuilderBase.java:151)。build(DummyLog.java:209) ... 9 もっと見る
java - camus を実行しようとしたときの java.lang.ClassNotFoundException
camus jar を含むコンフルエント パッケージをダウンロードし、オンラインの指示に従って、ここにリンクの説明を入力します。
Hadoop が適切にセットアップされている (つまり、hadoop fs -ls コマンドおよびその他の hadoop jar コマンドを使用できる)。しかし、私が実行しようとしたとき
「メイン」のclassNotFoundエラーが発生しました
「confluent-camus-1.0.jar」へのパスは正しいです (フォルダーのすぐ下)。実行しようとするためだけに、kafka サービスを開始しませんでした。
誰かが同様の問題を抱えていますか？
ありがとう。
apache-kafka - Kafka を使用して HDFS に Apache サーバー ログをロードする
Kafka を使用して、Apache サーバーのログを hdfs にロードしたいと考えています。
トピックの作成:
Apache アクセス ログ ディレクトリを追跡します。
別の端末 (kafka bin の) で、コンシューマーを開始します。
camus.properties ファイルは次のように構成されます。
以下のコマンドを実行するとエラーが発生します。
以下はエラーです：
この問題を解決するために何ができるかを提案してください。前もって感謝します
深い