問題タブ [apache-flink]

Flink に問題がある

問題のある行はこれです

FlinkRegionType私はのArrayカスタムオブジェクトを持っています

IDE で maven プラグインを使用してアプリを開発しましたが、すべて正常に動作していますが、Web サイトからダウンロードしたバージョンに移行すると、上記のエラーが発生します

Flink 0.9 を使用しています

一部のライブラリが欠落しているのではないかと考えていましたが、すべてを処理するために maven を使用しています。さらに、 ObjectArrayTypeInfo.javaのコードを実行しても問題はないようです

ストリームの使用法を表示する Flink の例を拡張しようとしました。私の目標は、ウィンドウ機能を使用することです (window関数呼び出しを参照)。以下のコードは、ストリームの最後の 3 つの数値の合計を出力すると仮定します。（ubuntuのおかげでストリームが開かれますnc -lk 9999）実際、出力は入力されたすべての数値を合計します。タイム ウィンドウに切り替えても、同じ結果が生成されます。つまり、ウィンドウ処理は行われません。

それはバグですか？(使用バージョン: github の最新マスター)

代理キーの生成に関しては、最初のステップは個別のキーを取得してから、タプルごとに増分キーを作成することです。

したがって、Java Set を使用して個別の要素を取得すると、ヒープ領域が不足します。次に、Flink の distinct() を使用すると、完全に機能します。

この違いは何ですか？

別の関連する質問は、Flink はマッパーで代理キーを生成できますか?

フォルダーとファイルで構成されたデータセットがあります。フォルダー/ファイル構造自体は、データ分析にとって重要です。

データセットの構造:

すべてのファイルには、1 つのオブジェクトを記述するデータが含まれています。ファイルの形式は一貫しています。基本的に、2 つの列を持つ csv ファイルです。2 つの列は、結果のオブジェクトで一連のタプルとして表される必要があります。

ファイルのサイズはかなり小さいです。20kbまでです。各フォルダには約 200 個のファイルが含まれています。

目的の出力オブジェクトは次のようになります。

Scala でこのデータ セットの読み取りを処理するにはどうすればよいですか?

私はcloudera live vmで作業しています。そこには、hadoopとspralのスタンドアロンクラスターがあります。今度は、spark submit および flink run スクリプトを使用してジョブを送信します。これも機能します。しかし、私のアプリは hdfs で入力ファイルと出力ファイルへのパスを見つけることができます。私はパスを次のように設定します: hdfs://127.0.0.1:50010/user/cloudera/outputs から取得したポートからの情報:

javaでhdfsのパスを設定するには??

敬具、ポール