問題タブ [flume]

Flume-ng(1.2) を使用して、フラットファイル (ログファイル) から Hbase にデータをロードしようとしています。フラット ファイルには複数の列があり、それぞれがコロン (:) で区切られています。それらはすべて HBASE の個別の列にロードする必要があります。この問題を解決するために Apache からの jar があることがわかったフォーラムをチェックしていました (org.apache.flume.sink.hbase.RegexHbaseEventSerializer) が、構成ファイルやインターネットでの使用法を見つけることができません。誰かが構成ファイルで私を助けることができれば、それは役に立ちます

フラットファイルの内容 1:nn 2:pp 3:mm

ありがとう

何らかの理由で、Flume1.2avroシンクが空として構成から削除されています。以下にエージェントの設定とデバッグの出力を含めました。

ログを収集するためにFlumeNG（1.2.0）をテストしています。Flumeがログファイルflume_test.logを収集し、収集したログをsysoutとしてコンソールに出力するのは簡単なテストです。conf/flume.confは：

そして、私は次のようにFlumeを実行しました。

コンソールでFlumeログを実行した後は、次のようになります。

Flumeは正常に起動したと思うので、たくさんの行をflume_test.log続けて入れました。flume_test.logただし、追加された行はコンソールに出力されません。

このテストの問題は何ですか？コメントと訂正をありがとう。

FlumeNGを使用してテキストファイルのログをHBaseに収集しようとしています。ログファイルの各行はJSONテキストであり、HBaseテーブルに値として挿入しています。問題は、行のキーパターンをカスタマイズする方法がわからないことです。たとえば、テーブルの行を数えると、次のようになります。

行キーはdefault + UUID_like_stringです。現在のタイムスタンプ（昇順または降順）を使用して行のキーパターンを変更したい場合は、どうすればよいですか？

コメントありがとうございます。

この質問は以前にも出されたかもしれませんが、これらの技術が成熟したことを考えると、今日もう一度検討するのは良いことだと思います. Flume、kafka、scribe、またはその他のいずれかを使用して、ストリーミング facebook および twitter プロファイル情報を hbase に保存し、後で分析を行うことを検討しています。この目的のためにflumeを検討していますが、情報に基づいた決定を下すために他のテクノロジーを使用したことはありません. 光を当てることができる人なら誰でも素晴らしいでしょう！どうもありがとう。

AWS の S3 バケットにすべてのエントリを書き込む Flume コンソリデータがあります。

問題はディレクトリ パスにあります。

イベントは /flume/events/%y-%m-%d/%H%M に書き込まれるはずですが、//flume/events/%y-%m-%d/%H% にありますM.

Flume は先頭に「/」をもう 1 つ追加しているようです。

この問題に関するアイデアはありますか？それは私のパス構成に問題がありますか?

Flume を使用して mysql から継続的に読み取り、hbase にロードする方法は?

私は sqoop に精通していますが、mysql ソースから継続的に実行する必要があります。これを行うにはカスタム ソースが必要ですか?

Apache Flume の HDFS シンクのデフォルト パラメータを見ると、大量の非常に小さなファイル (1 kB ロール) が生成されるようです。私が GFS/HDFS について学んだことから、ブロックサイズは 64MB であり、ファイルサイズは、すべてが効率的に実行されることを確認するためにむしろギガバイトである必要があるということです。

したがって、Flume のデフォルト パラメータが単に誤解を招くだけなのか、それともここで何か見落としているのか、気になります。

乾杯。

Log4J2 と Flume-ng を使用して、分散システムの集中ログを作成しようとしています。システム内のサーバーの 1 つは、システムの Web サービス (サーブレット) を実行するために使用している Jetty を実行します。このプロジェクトに Log4J2 と Flume-ng の Maven 依存関係を含めると、Jetty が破損し、適切に起動/バインドされません。以下のリスト (log4j-flume-ng) の依存関係を削除すると、Jetty は通常どおり実行され、次の出力が得られます。

しかし、その依存関係があると、次のようになります (Memcached の出力のみ)。

Maven POM の依存関係は次のとおりです。

これを解決する方法がわかりません。Flume を他のサーバーと問題なく動作させることができましたが、Jetty には何もないようです。誰かがこれを機能させるためのアドバイスを提供できますか?

Flume-NG 1.3.0で使用するカスタムHbaseSinkを作成org.hbase.async.PutRequest中であり、同じ行に複数の列ファミリーを使用してを実行する必要があります。コンストラクターなどが表示されませんPut.add(columnFamily, columnName, value)。

誰かが私がこれを行う方法に光を当てることができますか？