問題タブ [heron]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
twitter - Apache Flink vs Twitter Heron?
Flink と Spark Streaming、Flink と Storm、Storm と Heron を比較する多くの質問があります。
この質問の起源は、Apache Flink と Twitter Heron の両方が真のストリーム処理フレームワーク (Spark Streaming のようなマイクロバッチではない) であるという事実から来ています。Twitter は昨年 Storm を廃止し、代わりに Heron を使用しています (これは基本的に Storm を作り直したものです)。
Flink および Flink vs Spark に関する Slim Baltagi による素晴らしいプレゼンテーションがあります: https://www.youtube.com/watch?v=G77m6Ou_kFA
さまざまなストリーミング フレームワークに関する Ilya Ganelin による優れた調査: https://www.youtube.com/watch?v=KkjhyBLupvs
Flink と Storm に関する非常に興味深い考え: Flink と Storm の主な違いは何ですか?
しかし、新しい Storm/Heron と Apache Flink の比較は見たことがありません。
両方のプロジェクトはかなり若く、以前に作成された Storm アプリケーションの使用やその他多くの機能をサポートしています。Flink は Hadoop エコシステムにより適合し、Heron は Twitter ベースのエコシステム スタックにより適合します。
何かご意見は？
java - Apache Heron スケジューラーのデバッグ
Twitter は、Apache Storm と比較した Apache Heron の最大の利点の 1 つは、debug-ability複数のタスクを 1 つの JMV にバンドルするのではなく、各スパウト/ボルト タスクを 1 つの Heron インスタンス (JVM プロセス) に移動することによって達成されると主張しています (Storm がかつて行っていた方法)。それ）。
このアプローチは、トポロジのデバッグに非常に役立ちます。しかし、私の質問は、スケジューラやリソース管理部分などのヘロンのコア部分をデバッグするにはどうすればよいかということです。ログ出力/印刷出力以外にそれを行う方法はありますか? これは本当に時間とエネルギーを消費するプロセスだからです。IDE (IntelliJ など) のようなツールを使用していくつかのチェックポイントを設定し、ヘロンでタスクをスケジュールするプロセス全体をデバッグする方法はありますか?
前もって感謝します。
apache-storm - heron トポロジーは非アクティブ化後も実行を続ける
私は現在、リソース管理とスケジューリングの研究のために、Heron と Apache Storm に取り組んでいます。
トポロジーを Heron に送信した後、それらは実行を開始し、リソースを消費することに気付きましたが、非アクティブ化した後もバックグラウンドでまだ実行されており、CPU と RAM を 100% 使用しているようです! 何か不足していますか？私が理解している方法とヘロンのドキュメントに基づいて、トポロジを非アクティブ化するとそれらが停止し、新しいタプルの処理が停止するはずです。
トポロジを非アクティブにします。非アクティブ化されると、トポロジは処理を停止しますが、クラスター内で実行されたままになります。
しかし、非アクティブ化後にheron-uiをチェックすると、新しいタプルをまだ処理しています。これは、発行数が変化し続けるためです! しかし、私がそれらを殺すと、すべてが正常に戻ります! それは正常ですか？そうでない場合、何が問題なのですか？
twitter - backtype.storm & org.apache.storm & com.twitter.heron パッケージのクラス間の違い
Apache Heron 用のカスタム スケジューラを作成したいと考えており、ソース コードを少し掘り下げています。ヘロンのソース コードには、類似したクラスを持つパッケージがいくつかあることに気付きました。たとえば、backtype.storm&のほとんどのクラスorg.apache.stormは類似しています (内部コードが同一であるなど、まったく類似しています)。com.twitter.heronこれら 2 つのパッケージと(たとえば)の間にもいくつかの類似したクラスがありますcom.twitter.heron.api.tuple.Fieldsが、中には異なるコードが含まれているものもあります (Fields クラスなど)。トポロジを作成するときに、必要な各パッケージをインポートして、これらのいずれかを選択できることは知っていますが、それらの違いと、これらのパッケージをすべてまとめた理由に興味があります. それらをマージしませんでしたか？また、ストーム クラスがトポロジを記述するための唯一の選択肢である場合、クラスとはcom.twitter.heronパッケージは良いですか？
ヘロンがストームと完全に下位互換性を持つように設計されていることは知っていますが、これは下位互換性の問題が原因である可能性がありますが、これらのクラス内に独自のコードを記述する必要があり、どちらを選択するか、開発者によって常に開発および保守されているものを選択する方法がわからないため、変更する候補としてそれらを選択する必要があります。
前もって感謝します。
java - WindowsでApache Heronを実行できますか
Heron を使用してストーム トポロジを実行しようとしましたが、これは比較的単純なプロセスだと思います。ただし、Heron サイトでは Windows のサポートがないようです。Windows で Heron を手動でビルドできますか、それとも Linux と OS X でのみサポートされますか?