問題タブ [flume-ng]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
flume-ng - Apache Flume でファイルを転送するときにファイル名を保持する方法は?
Flume 1.3.1 ng を使用しています。ファイルを spoolDir から HDFS Sink に転送しています。入力ファイルと同じ出力ファイル名が必要です。たとえば、入力ファイル名が sample.gz の場合、出力も sample.gz として必要です
Flume 1.3.1 ng でこの機能を実現する方法を教えてください。
hadoop - Flume Source 実装内でマルチスレッドを使用するのは悪い習慣ですか?
問題は、Flume Source 実装内でマルチスレッド ロジックを使用するとどうなるかということです。悪いデザインにならない？
flume - Flume 設定でシステム プロパティを使用できますか
Flume シンクの次の Flume 設定があります
sink.directory、channels.c1.capacity、構成可能にしたいchannels.c1.capacity（システムプロパティを使用するとしましょう）。そうすることが可能です。
java - Flume java.lang.IllegalStateException: ファイルが読み取られてからサイズが変更されました
さまざまなソースからデータを収集し、出力を特定のディレクトリの下のファイルに書き込む Java アプリケーションがあります。
また、spooldir ソースを使用してそのディレクトリから読み取り、.xml を使用して出力を Solr に書き込むように Flume エージェントを構成していますMorphlineSolrSink。
Flume エージェントは次の例外をスローします
Flume エージェントの構成は次のとおりです。
私が例外から理解しているのは、java アプリケーションがファイルの書き込みを完了していない間に、flume エージェントがファイルの処理を開始したということです。
この問題を解決するにはどうすればよいですか?
編集
この情報に価値があるかどうかはわかりません。これらの構成は、以前は問題なく機能していました。Flume を実行しているマシンで、ハード デスクの障害に直面しました。その障害から回復した後、flume はこの例外をスローします。
java - シンプルなファイルでログを収集するための Flume のセットアップ方法
私はFlumeが初めてです。私の要件は、ホスト、ポートなどの構成を使用して Java コードから Flume エージェントを開始することです。外部サービスがデータをログに記録するときは、server.log などの単純なテキスト ファイルに書き込む必要があります。
HDFS シンクを使用したくありません。どのような構成にする必要がありますか?
hadoop - Flume を使用して CSV (コンマ区切り) ファイルを HBase テーブルにロードする方法は?
CSV (コンマ区切りのみ) ファイルを Hbase テーブルにロードしたいと考えています。私はすでにいくつかのグーグル記事の助けを借りてそれを試しましたが、今では行全体 (または行) を値として Hbase にロードできます。つまり、単一行のすべての値は単一列として保存されますが、行ベースを分割したい区切りコンマ (,) で、これらの値を Hbase テーブルの列ファミリーの異なる列に格納します。
私の問題を解決するのを手伝ってください。任意の提案をいただければ幸いです。
以下は、入力ファイル、エージェント構成ファイル、および hbase 出力ファイルを使用した私の現在です。