問題タブ [apache-flink]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - flink: kafka から byte[] データを取得する
flink-1.0-SNAPSHOTを使用して、カフカからのデータを消費しています。データは、後で使用するために thrift に渡されるSnappy 圧縮byte[] として入ってきます。
flinkを使用してデータを取得すると、データが破損または誤って処理され、解凍できなくなります。コードはこのサンプルから派生したもので、次のとおりです。
isValidCompressedBufferは毎回 false を返します。
データは、他の方法で消費された場合に良好であることが知られています。
私は何を取りこぼしたか？
解決：
を使用した例が見つからなかったので、これを投稿しますRawSchema。
apache-flink - Apache Flink DataStream API には mapPartition 変換がありません
Spark DStream にはmapPartitionAPI がありますが、Flink DataStreamAPI にはありません。理由を説明できる人はいますか。私がやりたいことはreduceByKey、Flink で Spark に似た API を実装することです。
java - Flink Streaming java.lang.Exception: タスクの呼び出し可能なクラスをロードできませんでした
基本的な Flink ストリーミング ジョブ (Java で) をローカルで実行しようとしています。Eclipse を使用してアプリケーションを実行すると、魅力的に機能します。しかし、Flink コマンドライン インターフェイスを使用して実行すると、次の例外が発生します。
Flink-Kafka 統合の例を data- artisans で実行しています。
java - Apache Flink fromCollection java.lang.IllegalStateException: 未読のブロック データ
Scala と Flink 1.0-SNAPSHOT を使用して DataSet で leftOuterJoin を実行すると、次の例外が発生します。
DataSet の型として単純な Scala ケース クラスを使用します。
ケース クラスのインスタンスを生成するには、次のメソッドを使用します。
環境を初期化し、次の方法で DataSet[RawValue] を作成します。
シリアル化の問題がエラーの原因であると思われます。プロジェクトをコンパイルするために Scala 2.10.5 および Java 7 システム ライブラリを使用しています。私は Eclipse を使用しています。プロジェクトは、サンプル プロジェクト生成スクリプトによって生成されました。
問題を解決するための助けやヒントをいただければ幸いです:-) ありがとう、ダニエル
perf - Flinks 実行プロセスの PID を調べる方法は?
パフォーマンス カウンター (perf) を使用して flinks のパフォーマンスを測定したいと考えています。私のコード:
ジョブマネージャーの PID はわかっています。また、実行中に execute() コマンドを実行するスレッド (CHAIN DataSource) の TID を確認できます。ただし、実行ごとに TID が変更されるため、TID では機能しません。execute() コマンドを実行する jobmanagers 子プロセスの PID を把握する方法はありますか? また、rdd の変換 (flatMap など) ごとに異なる子プロセスがありますか? もしそうなら、それらの個別の PID を見つけることは可能ですか?