3 ノードの Storm クラスターを実行しています。10 個のワーカーを含むトポロジを送信しています。以下はトポロジの詳細です。
トポロジの詳細:
kafkaspout: 1 (with 10 kafka partions and 10 executors)
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages
1 日あたり 800 万から 1000 万のデータを処理しています。問題は、Toplolgy が 2 から 3 日しか実行されていないことです。その間、kafka スパウトでいくつかの失敗したタプルが見られ、メッセージが処理されません。新しいトポロジを送信すると、正常に動作しますが、2 日後に再びまたは 3 日以内に同じ問題が発生します。誰かがこれに対する解決策を得ることができますか。以下は私のストーム構成です
ストーム.yaml:
worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
- "zoo1"
- "zoo2"
- "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost
nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707
- 6708
- 6709