0

3 ノードの Storm クラスターを実行しています。10 個のワーカーを含むトポロジを送信しています。以下はトポロジの詳細です。

トポロジの詳細:

kafkaspout: 1 (with 10 kafka partions and 10 executors) 
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages

1 日あたり 800 万から 1000 万のデータを処理しています。問題は、Toplolgy が 2 から 3 日しか実行されていないことです。その間、kafka スパウトでいくつかの失敗したタプルが見られ、メッセージが処理されません。新しいトポロジを送信すると、正常に動作しますが、2 日後に再びまたは 3 日以内に同じ問題が発生します。誰かがこれに対する解決策を得ることができますか。以下は私のストーム構成です

ストーム.yaml:

worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
     - "zoo1"
     - "zoo2"
     - "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost

nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"

supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703
   - 6704
   - 6705
   - 6706
   - 6707
   - 6708
   - 6709
4

1 に答える 1