問題タブ [flink-streaming]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2621 問題

0 投票する

1 に答える

1389 参照

apache-flink - データストリーミングに Apache Flink を使用する

私は以下の要件を持つアプリケーションの構築に取り組んでおり、flink を使い始めたばかりです。

たとえば 50 個のパーティションを使用してデータを Kafka に取り込みます (受信レート - 100,000 メッセージ/秒)
Kafka からデータを読み取り、各データを処理します (計算を実行し、古いデータと比較するなど) リアルタイム
出力を Cassandra に保存する

私はリアルタイムストリーミングプラットフォームを探していましたが、Flink がリアルタイムとバッチの両方に最適であることがわかりました。

flink が私のユースケースに最適だと思いますか?それとも、Storm、Spark ストリーミング、またはその他のストリーミングプラットフォームを使用する必要がありますか?
flink で一連のステップを実行するには、Google データフローにデータパイプラインを記述する必要がありますか?それとも、リアルタイムストリーミングの一連のステップを実行する他の方法はありますか?
各計算に 20 ミリ秒かかるとしたら、どうすれば flink を使用してより適切に設計し、スループットを向上させることができるでしょうか。
Redis または Cassandra を使用して、計算ごとに flink 内でデータを取得できますか?
flink 内で JVM メモリ内キャッシュを使用できますか?
また、ある時間枠 (例: 5 秒) のキーに基づいてデータを集計することもできます。たとえば、100 件のメッセージが着信し、10 件のメッセージが同じキーを持つとします。同じキーを持つすべてのメッセージをグループ化して処理できますか。
flink を使用したベストプラクティスに関するチュートリアルはありますか?

皆様のご協力に感謝いたします。

apache-flink flink-streaming

2016-06-10T00:12:54.460

0 投票する

0 に答える

551 参照

hadoop - kerberos チケットの有効期限が切れた後、スタンドアロンクラスターでの Flink ジョブが失敗する

私の Flink ストリーミングジョブは、安全な hdfs に書き込みます。kinit 後、kerberos チケットの有効期限が切れるまで、ジョブはスムーズに実行されます。現在1dになっている寿命を延ばすことはできません。このエラーをどのように処理すればよいか教えてください。

エラーログ：

2016-06-11T15:15:37.503

0 投票する

1 に答える

101 参照

hadoop - Hadoop でのストリーミングの使用

この Flink CEPの例を調べようとしています。この例では、データを生成および消費し、データにパターンマッチングを適用する単一のアプリケーション (一種のストリーミングアプリケーション) が作成されていることがわかります。彼らはその間にストリーミングレイヤーを入れていません（Kafkaのように）。今のところ、この目的には単一のアプリケーションで十分であり、非常に最適化されています。これで、Kafka を使用する場合、2 つのアプリケーションが必要になることがわかりました。1 つは Kafka トピックにデータを取り込むためのもので、もう 1 つは Kafka トピックからデータを消費するためのものです。答えられない質問がいくつかあります::