問題タブ [flume-ng]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - Elasticsearch シンクを開始できません
Elasticsearch シンクを起動して実行しようとしています。ただし、次のエラーが発生し、修正方法についてのアイデアが不足しています。どんな助けでも大歓迎です。エラーは次のとおりです。
2015-02-10 11:43:31,234 エラー org.apache.flume.lifecycle.LifecycleSupervisor: SinkRunner を開始できません: { policy:org.apache.flume.sink.DefaultSinkProcessor@79a805d2 counterGroup:{ name:null counters:{} } } - 例外が続きます。java.lang.NoSuchFieldError: org.elasticsearch.version の LUCENE_3_6 (Version.java:45) org.elasticsearch.client.transport.TransportClient.(TransportClient.java:168) の org.elasticsearch.client.transport.TransportClient. (TransportClient.java:123) org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient.openClient(ElasticSearchTransportClient.java:201) で org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient.(ElasticSearchTransportClient.java: 79) org.apache.flume.sink.elasticsearch.client.ElasticSearchClientFactory.getClient(ElasticSearchClientFactory.java:
私はCDH 5.3とelasticsearch 1.4.2を実行しています
hadoop - Flume から HDFS へのファイルの多数のファイルへの分割
flumeからに700 MB のログ ファイルを転送しようとしていますHDFS。flumeエージェントを次のように構成しました。
ソースはspooldir、チャネルはmemory、シンクはhdfsです。
また、1MB のファイルを送信しようとしましたが、flume はそれを 1KB のサイズの 1000 個のファイルに分割しました。私が気付いたもう 1 つのことは、転送が非常に遅く、1 MB に約 1 分かかったということです。私は何か間違ったことをしていますか？
java - Java アプリケーションからの Flume エージェントの起動
Flume 構成ファイルを作成し、それらを Linux ボックスのディスクに書き込む Java アプリケーションを作成しました。次に、アプリケーションはflumeコマンドを構築し、次のコードでコマンドを実行してflumeエージェントを起動しようとします:
Flume コマンドをターミナルから手動で実行すると、問題なく動作します。Java アプリケーションが Flume コマンドを実行しようとしても、何も起こりません。これはクラスパスの問題ですか?
ここでの Flume コマンド: /root/flume-flume-1.6/flume-ng-dist/target/apache-flume-1.6.0-SNAPSHOT-bin/apache-flume-1.6.0-SNAPSHOT-bin/bin/flume-ngエージェント --conf conf --conf-file /root/flumeconfs/ConsumerGroup4.conf --name Agent_ConsumerGroup4 -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34548
組み込みエージェントが別のオプションであることは知っていますが、これらは avro シンクでのみ使用できるため、あまり役に立ちません。どんな考えでも感謝します。乾杯、コールマン
java - Flume の HTTP ソースを停止する方法
私は Flume 1.4.0 で作業しており、特定の方法で Flume のコンポーネントを停止しようとしています:
- まず、ソースを停止します。
- 次に、チャネル内のすべてのイベントがシンクによって消費されるまで待ちます。
- すべてのイベントが消費されたら、チャネルとシンクを停止します。
上記のタスクは、で作成されたシャットダウン フックによって実行されますorg.apache.flume.node.Application(実際、私はカスタム を開発していますApplication)。
ソース、チャンネル、シンクへの参照を取得する方法は次のとおりです。
ポイントは、私がこれを得ているということですNullPointerException:
HTTPSource.java:165ソースの Http サーバー部分を実装する Jetty サーバーを停止することについてです。これは null のように見えます。
なぜヌルなのですか？ソースは正常に動作し、HTTP リクエストを受信できます。
これは、Flume のコンポーネントを閉じる適切な方法ではないと思います...そうでない場合、どちらですか?
ありがとう！
hdfs - Flume ロールの設定が機能しない
編集*: 完全な構成ファイルは次のとおりです。
最近までidleTimeoutとmaxOpenFilesはありませんでした。そのため、これら 2 つのオプションのデフォルト構成でも機能しませんでした。
Flume を使用して Kafka データを集計することに関する質問。現在、Flume はストリーミング データを読み込むために毎秒新しいファイルを作成しています。これらは私の設定です：
私が完全に確信していない1つの設定はrollCountなので、いくつかの追加情報：
私は 80 バイト/秒を取得しています。いくつかのファイルは 80 バイトで 2 つのメッセージがあり、いくつかは 160 バイトですが、4 つのメッセージがあります。時間やサイズに基づいて実行していないので、カウントする必要があるかもしれませんが、そのような小さなメッセージが1000イベントとして登録される理由がわかりませんか?
お手伝いありがとう！