0

Flume JMS ソースを使用して ActiveMQ からメッセージをデキューし、このメッセージList<Event>をカスタム コンバーターを使用して変換しています。

チャネル構成

agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000000
agent.channels.c1.transactionCapacity = 1500

のサイズがList<Event>1500 (チャネル トランザクション容量) 以下の場合、flume はイベントを channel に書き込みますが、イベント サイズが 1500 より大きい場合、以下の例外が発生します。

エラーログ

21 Apr 2015 12:19:28,245 WARN  [PollableSourceRunner-JMSSource-s1] (org.apache.flume.source.jms.JMSSource.doProcess:263)  - Error appending event to channel. Channel might be full. Consider increasing the channel capacity or make sure the sinks perform faster.
org.apache.flume.ChannelException: Unable to put batch on required channel: org.apache.flume.channel.MemoryChannel{name: c1}
    at org.apache.flume.channel.ChannelProcessor.processEventBatch(ChannelProcessor.java:200)
    at org.apache.flume.source.jms.JMSSource.doProcess(JMSSource.java:257)
    at org.apache.flume.source.AbstractPollableSource.process(AbstractPollableSource.java:54)
    at org.apache.flume.source.PollableSourceRunner$PollingRunner.run(PollableSourceRunner.java:139)
    at java.lang.Thread.run(Thread.java:722)
Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 1500 full, consider committing more frequently, increasing capacity or increasing thread count
    at org.apache.flume.channel.MemoryChannel$MemoryTransaction.doPut(MemoryChannel.java:84)
    at org.apache.flume.channel.BasicTransactionSemantics.put(BasicTransactionSemantics.java:93)
    at org.apache.flume.channel.BasicChannelSemantics.put(BasicChannelSemantics.java:80)
    at org.apache.flume.channel.ChannelProcessor.processEventBatch(ChannelProcessor.java:189)
    ... 4 more

この問題を解決するには？

注:イベント サイズは、ActiveMQ メッセージに基づいて動的に変化します

4

0 に答える 0