問題タブ [flume-twitter]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Twitter Flume データが読み取り可能な形式ではありません
Twitter のデータが読み取り可能な形式ではありません。ハイブテーブルを使用して読み取ろうとしているflumeを使用してTwitterデータをフェッチしました。しかし、hdfs に適切なデータが表示されません。詳細は次のとおりです。
Flume-env.sh -
さえずり.conf -
ファイルの1つを減らすと：
誰かが私が間違っているところを教えてもらえますか? ハイブテーブルの読み取り可能な形式でこのデータが必要です。
java - Flume エージェント間の同時実行を管理する方法。
私はビッグデータプロジェクトに取り組んでいます。Flume を使用して、sftp から HDFS にファイルをダウンロードしています。次に、3 つのエージェントを構成しました。彼らは同じソースから読みます。結果として、3 つの重複したファイルが HDFS に取得されますが、これは良くありません。一方、必要なファイルは 1 つだけです。ただし、処理されたファイルのトレーサビリティを維持し、エージェント間の同時実行を管理する必要があります。例として、3 つのメイン エージェント A1、A2、および A3 があります。ファイル xxx.csv がエージェントによって処理中または処理中の場合 A2. 他の人はそれを処理せず、未処理のファイルを探します。そのため、各ファイルは 1 つのエージェントだけで処理する必要があります。
同様の問題に取り組んでいる人はいますか？