問題タブ [apache-flink]

Spark と Flink の k-means アプリケーションを作成しました。私のテスト ケースは、3 ノード クラスタ上の 100 万ポイントのクラスタリングです。

インメモリのボトルネックが始まると、Flink はディスクに外部委託し始め、動作は遅くなりますが動作します。ただし、メモリがいっぱいになり、再起動すると、Spark は実行者を失います (無限ループ?)。

ここのメーリング リストの助けを借りてメモリ設定をカスタマイズしようとしています。しかし、Spark はまだ機能しません。

構成を設定する必要はありますか? つまり、Flink は低メモリで動作しますが、Spark も動作できる必要があります。か否か？

これらの何百万ものイベント/データを処理した後、何百万ものイベントを保存する価値があると言う情報を保存するのに最適な場所はどこですか? このコミットによってクローズされたプル リクエストで、Parquet 形式について言及しているのを見ましたが、デフォルトは HDFS ですか? 私の懸念は、そのデータを取得するのが簡単な (速い!) 場合、保存した後 (どこに?) ですか?

現在、2 つの DataSet に参加しようとしています (flink 0.10-SNAPSHOT API の一部)。どちらの DataSet も同じ形式です。

私が作成したいのは、2 つの DataSet のラベルのみを含む新しい DataSet[(Double,Double)] です。

したがって、次のコマンドを試しました。

しかし、結果として「結合」は空です。何か不足していますか？

Amazon EMR で Apache Flink の糸セッションを開始できません。私が得るエラーメッセージは

Flink バージョン 0.9 と Amazons Hadoop バージョン 4.0.0 を使用しています。アイデアやヒントはありますか？

完全なログはここにあります: https://gist.github.com/headmyshoulder/48279f06c1850c62c28c

Apache Flink の学習を始めたばかりで、EClipse IDE で開発を開始するためのガイド リンクを見つけました。

thisに従って開始しましたが、以下のエラーが発生しました

00:20:26,993 INFO org.apache.flink.api.java.ExecutionEnvironment - ジョブには 0 個の登録済みタイプと 0 個のデフォルト Kryo シリアライザーがありますスレッド「メイン」で例外 java.lang.NoClassDefFoundError: scala/collection/Traversable at java.lang .ClassLoader.defineClass1(ネイティブメソッド)

ここにエラー ログファイルを配置しました 。詳細が必要な場合はお知らせください。ありがとう、ニャマス

join および coGroup 変換は、2 つの入力データセットを読み取り、1 つを出力できます("Y" フラックス) (間違っている場合は訂正してください)。

2 つのデータセットを処理および更新したいと考えています。これを行うには、2 つのcoGroup変換を使用する予定です。

しかし、パフォーマンス上の理由から、これら両方の変換を 1 つの変換("H" フラックス)で行うことはできますか?

また、データセットが更新されたら、それらを繰り返し処理したいと思います。現在それが不可能な場合、将来的にこの種の変革をサポートする予定はありますか?

アプリケーションを Flink スタンドアロンで実行していますが、コンソールまたは .sysout で見つけることができませんFLINK_HOME/log。

アプリケーションのデバッグ ログを確認できる場所を知っている人はいますか? また、アプリケーションが実行されている TM を知る方法はありますか?

clojure で実行されている Apache flink から小さな例を取得しようとしていますが、clojure の型のヒントと flink の奇妙な癖のために、現在行き詰まっています。

これが私のコードです：

タイプヒントを提供しないと、flink API からエラーが発生します。

タイプヒントを提供する場合:

clojure コンパイラーからエラーが発生します。

ジェネリック クラスを使用して clojure に型ヒントを追加する方法はありますか? 次のようになります。

しかし、それはうまくいきません。何か案は？

ライン構成は次のようになります。