問題タブ [gobblin]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - Gobblin エラー: フィールドを変換できません: レコードの値: "abc" の派生ウォーターマーク列:
mysql テーブルから hdfs にデータを取り込もうとしています。しかし、それは私に以下のエラーを与えています
以下はレコードスキーマです
ウォーターマークの派生ウォーターマーク列のデータ型はタイムスタンプですが、レコードでは文字列 'abc'です。
ジョブとプロパティ ファイルは次のとおりです。
mysql.プル
mysql プロパティ
構成ファイルでこのエラーが発生する原因は何ですか? 知っている人がいたら助けてください。
gobblin - Gobblin JSON から Avro への変換が Json 配列エラーではなく失敗しました
私は Gobblin が初めてで、JSON Kafka メッセージを読み取って AVRO に変換し、HDFS に保存しようとしています。私の現在のジョブファイルは打撃のようなものです:
例 Kafka マッサージ:{"age": 36, "city": "London", "name": "John", "ubdated_at": "2020-05-19"}
ただし、これをスタンドアロン モードで実行すると、以下のエラーが発生します。
誰かが私を助けることができますか？
java - ゴブリン エラー:- java.io.IOException: java.lang.ClassNotFoundException:
私は Gobblin を初めて使用し、Kafka から HDFS にデータを取り込もうとしています。Kafka-HDFS Ingestionのサンプルを正常にフローできました。しかし今、時間ベースのライター パーティション オプションをジョブに追加する必要があります。私はTimeBasedWriterPartitioner Google フォーラムを調べて、Zongjun の提案に従って以下の解決策を考え出しました。
- 時間ベースのライター パーティション クラス用に別の Java プロジェクトを作成します。
POM.xml
gobblin-dist/lib上記のプロジェクトから Jar を作成し、ディレクトリにコピーします。- ディレクトリ内のgobblin-mapreduce.sh を更新し
gobblin-dist/bin、新しい jar 名を LIBJARS の下に追加します。 - 次のようにジョブ ファイルを作成します。
- 次に、bin ディレクトリにある gobblin-standalone.sh ファイルを使用して、スタンドアロンとして gobblin を起動します。
logs/gobblin-current.log で以下のエラーが発生しました
ジョブファイルを として変更するとwriter.partitioner.class=LogJsonWriterPartitioner、エラーが として変更されjava.lang.NoClassDefFoundError: gobblin/writer/partitioner/TimeBasedWriterPartitionerます。
この問題を克服するのに役立つ人はいますか?
gobblin - cli コマンドの実行中に GobblinCli がロードされない
Mac でゴブリンをセットアップしようとしています。cli runを実行していると、エラーが発生します。gobblin cli コマンドを実行する前に、何かセットアップまたは構成する必要がありますか?
どんな助けでも大歓迎です!!!