4 つのノードを持つクラスターがあり、すべてのノードに 70G のデータがあります。クラスターに新しいノードを追加すると、常に次のようなトゥームストーンの問題について警告されます。
WARN 09:38:03 Read 2578 live and 1114 tombstoned cells in xxxtable (see tombstone_warn_threshold).
10000 columns was requested, slices=[-], delInfo={deletedAt=-9223372036854775808,
localDeletion=2147483647, ranges=[FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:_-FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:!,
deletedAt=1456243983944000, localDeletion=1456243983][FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:_-FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:!,
deletedAt=1460026357100000, localDeletion=1460026357][FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:_-FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:!, deletedAt=1458176745950000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:_-FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:!, deletedAt=1458176745556000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:_-FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:!,
deletedAt=1458176745740000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:_-FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:!,
deletedAt=1458792793219000, localDeletion=
そして最後に、開始してスローするのに長い時間がかかります
java.lang.OutOfMemoryError: Java heap space
以下はエラーログです。
INFO 20:39:20 ConcurrentMarkSweep GC は 5859 ミリ秒で。CMS 旧世代: 6491794984 -> 6492437040; パー エデン スペース: 1398145024 -> 1397906216; パー サバイバー スペース: 349072992 -> 336156096 INFO 20:39:20 refresh_token のエンキュー フラッシュ: 693 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 プール名 アクティブ 保留中 完了 ブロック済み 常にブロック済み INFO 20:39:20 log_user_track のエンキュー フラッシュ: 7047 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 CounterMutationStage 0 0 0 0 0 INFO 20:39:20 userinbox のエンキュー フラッシュ: 42819 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 メッセージのエンキュー フラッシュ: 7954 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 リードステージ 0 0 0 0 0 情報 20:39:20 RequestResponseStage 0 0 6 0 0 INFO 20:39:20 sstable_activity のエンキュー フラッシュ: 6567 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 ReadRepairStage 0 0 0 0 0 INFO 20:39:20 convmsgs のエンキュー フラッシュ: 2132 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 MutationStage 0 0 72300 0 0 INFO 20:39:20 sstable_activity のエンキュー フラッシュ: 1791 (0%) オンヒープ、0 (0%) オフヒープ 情報 20:39:20 ゴシップステージ 0 0 23655 0 0 INFO 20:39:20 log_user_track のエンキュー フラッシュ: 1165 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 AntiEntropyStage 0 0 0 0 0 INFO 20:39:20 sstable_activity のエンキュー フラッシュ: 2388 (0%) オンヒープ、0 (0%) オフヒープ INFO 20:39:20 CacheCleanupExecutor 0 0 0 0 0 java.lang.OutOfMemoryError: Java ヒープ領域 ヒープを java_pid17155.hprof にダンプしています ...
を実行するnodetool tpstatsと、MemtableFlushWriter と MemtablePostFlush のタスクがかなり保留になっていることがわかります。
プール名 アクティブ 保留中 完了 ブロック済み 常にブロック済み CounterMutationStage 0 0 0 0 0 リードステージ 0 0 0 0 0 RequestResponseStage 0 0 8 0 0 突然変異段階 0 0 1382245 0 0 ReadRepairStage 0 0 0 0 0 ゴシップステージ 0 0 23553 0 0 CacheCleanupExecutor 0 0 0 0 0 アンチエントロピーステージ 0 0 0 0 0 移行ステージ 0 0 0 0 0 ValidationExecutor 0 0 0 0 0 CommitLogArchiver 0 0 0 0 0 その他ステージ 0 0 0 0 0 MemtableFlushWriter 4 7459 220 0 0 MemtableReclaimMemory 0 0 231 0 0 PendingRangeCalculator 0 0 3 0 0 MemtablePostFlush 1 7464 331 0 0 圧縮実行者 3 3 269 0 0 内部応答ステージ 0 0 0 0 0 HintedHandoff 0 0 4 0 0