問題タブ [apache-apex]

apex documentationから、apache apex で起動されたアプリは、コマンドkill-app&を使用して強制終了またはシャットダウンできることが明らかshutdown-appです。

しかし、アプリケーションがオフ (シャットダウン/強制終了) になった場合、以前の状態から再起動するにはどうすればよいでしょうか?

kafka 入力演算子の OffsetManager の独自の実装を作成すると、

カスタム ビルド オフセット マネージャーを使用するには、kafka 入力オペレーターをどのように構成すればよいですか? プロパティ「OffsetManager」については知っていますが、誰かがオフセットマネージャーを設定する方法の実例を共有できますか?

どうもありがとう。

Hadoop 環境で実行する Apache Apex アプリケーションがあります。

7日後に失敗することを除いて、アプリケーションに問題はありません。そして、それはどのアプリケーションでもクラスターレベルの設定が原因であることに気付きました。

方法はありますか、委任トークンを一定の間隔で定期的に更新して、ジョブが失敗することなく継続的に実行されるようにすることができます!!

hdfs委任トークンを更新する方法について、オンラインでリソースを見つけることができました!! 誰かがあなたの知識を共有してもらえますか?

しばらくの間、DataTorrent/Apex に取り組んできました。SBT を使用して DataTorrent (Java) アプリケーションを作成できますか? DataTorrent アプリケーションのディレクトリで実行sbt clean assembly中にBuild Successが発生しました。ただし、.jarファイルのみが作成され、.apaファイルは作成されませんでした。root

以下はbuild.sbtです

そして plugin.sbt:

それは DT のバグですか、それとも何かを見逃していますか? Mavenでも同じことがうまくいきます。次の投稿を見たときにこれに出くわしました: SBTWithDT

Kafka ログを使用して HDFS に書き込む Apache Apex アプリケーションがあります。

DAG は、ストリームによって "MyWriter extends AbstractFileOutputOperator" に接続された Kafka Consumer (オペレーター用の 2 GB メモリーの 20 パーティション) があるほど単純です。

問題: 1. Writer が同じサイズと同じデータの .tmp ファイルを何度も繰り返し書き込んでいるのを見てきました。Write Operator メモリを増やしたり、Writer のパーティション数を増やしたりしましたが、それでもこの問題は発生し続けます。

MyWriter に requestFinalize を追加・削除してみました。まだ同じ問題。

これは私の properties.xml のサブセットです

これは、オペレーターの dt.log から取得できたスタック トレースです。オペレーターは、おそらく別のコンテナーに再デプロイされ、この例外をスローし、重複ファイルを書き続けます。

2.7.4-SNAPSHOT および Protobuf v2.6.1 を実行している Hadoop クラスターで Apache Apex CLI (バージョン 3.4) から apa ファイルを起動しようとすると、次のエラーが発生します。

java.lang.NoSuchMethodError: com.google.protobuf.LazyStringList.getUnmodifiableView()Lcom/google/protobuf/LazyStringList; org.apache.hadoop.yarn.proto.YarnServiceProtos$GetApplicationsRequestProto$Builder.buildPartial(YarnServiceProtos.java:17322) で org.apache.hadoop.yarn.proto.YarnServiceProtos$GetApplicationsRequestProto$Builder.build(YarnServiceProtos.java:17310) でorg.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetApplicationsRequestPBImpl.mergeLocalToProto(GetApplicationsRequestPBImpl.java:79) で org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetApplicationsRequestPBImpl.getProto(GetApplicationsRequestPBImpl. java:69) org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getApplications (ApplicationClientProtocolPBClientImpl.java:249) で

何が間違っているのか、またはこれをデバッグする方法はありますか? どうもありがとう。