問題タブ [apache-flink]

Apache Flink では、1 つの主キーで 2 つのデータ セットを結合すると、各データ セットから対応するデータ セット エントリを含むタプル 2 が得られます。

問題は、map()結果のタプル 2 データ セットにメソッドを適用するときに、特に両方のデータ セットのエントリに多数の機能がある場合に、見栄えがよくないことです。

両方の入力データ セットでタプルを使用すると、次のようなコードが得られます。

POJO やケース クラスを使用してもかまいませんが、これがどのように改善されるかはわかりません。

質問 1:そのタプル 2 を平坦化する良い方法はありますか? たとえば、別の演算子を使用します。

質問 2:同じキーで 3 つのデータ セットの結合を処理する方法は? サンプルソースがさらに厄介になります。

助けてくれてありがとう。

flink python api を試してみました。私が試すとき：

私は得る：

エラーは、次のパス処理が原因です。

使用する代わりに:

次の方法でマッピング ファイルを作成できます。

同じことが mmap 入力ファイルにも当てはまります。それは修正でしょうか？

Apache Spark Streaming Web サイトにアクセスすると、次の文が表示されました。

Spark Streaming を使用すると、スケーラブルでフォールト トレラントなストリーミング アプリケーションを簡単に構築できます。

また、Apache Flink Web サイトには、次の文があります。

Apache Flink は、スケーラブルなバッチおよびストリーム データ処理のためのオープン ソース プラットフォームです。

streaming applicationとbatch data processing、とはどういう意味stream data processingですか? 具体例を挙げていただけますか？それらはセンサーデータ用に設計されていますか?

私がこれを正しく理解していれば、スパーク ストリーミングは、RDD バッチを一連の変換を介して変換し、変換後に出力操作を行うためのものです。これはバッチごとに実行されるため、出力操作もバッチごとに実行されます。しかし、毎回出力を行うのは非常にコストがかかるため、バッチを処理して結果を蓄積し、特定のイベント (たとえば、一定期間後) でのみ、蓄積された結果を書き出してプログラムを終了したいと考えています。

を使用してデータを蓄積できることupdateStateByKeyはわかっていますが、Spark に出力操作 (たとえば ) を使用するように指示する方法がわかりませんsaveAsTextFiles。

これはまったく可能ですか？

これはフリンクで可能ですか？

Flinkで実行しようとしているコードの一部:

pages他の目的で使用したいのですが、コンパイルすると、Flink は次のようなエラー メッセージをスローします。

スレッド「メイン」の例外 java.lang.ClassCastException: org.apache.flink.api.common.typeinfo.IntegerTypeInfo は org.apache.flink.api.java.typeutils.PojoTypeInfo
にキャストできません

ところで、私は Flink の 0.9 スナップショット バージョンを使用しています。正しい方向への助けは大歓迎です。