問題タブ [flume-twitter]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Flume を介した Twitter ストリーミングでエラーが発生する
**flume コマンドの実行中に次のエラーが発生します。flume.env.sh のクラスパスとともに .bashrc の環境変数を変更しようとしましたが、まだ使用できません
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
16/12/08 01:57:11 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting
16/12/08 01:57:11 INFO node.PollingPropertiesFileConfigurationProvider: Reloading configuration file:../conf/twitter.conf
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.path
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.path = hdfs://localhost:8020/datamain/tweets
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.writeFormat
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.writeFormat = Text
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollCount
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollCount = 10000
16/12/08 01:57:11 INFO conf.FlumeConfiguration: Added sinks: HDFS Agent: TwitterAgent
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollSize
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollSize = 0
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.channels
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.channels = MemChannel
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.batchSize
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.batchSize = 1000
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.fileType
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.fileType = DataStream
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.type
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.type = hdfs
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollInterval
16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollInterval = 600
**また、twitter.conf のシンク コマンドに問題があるようですが、私はそれを理解できません。以下は twitter.conf ファイルです。
16/12/08 01:57:11 WARN conf.FlumeConfiguration: no context for sinkHDFS
16/12/08 01:57:12 INFO conf.FlumeConfiguration: Post-validation flume configuration contains configuration for agents: [TwitterAgent]
16/12/08 01:57:12 INFO node.AbstractConfigurationProvider: Creating channels
16/12/08 01:57:12 INFO channel.DefaultChannelFactory: Creating instance of channel MemChannel type memory
16/12/08 01:57:12 INFO node.AbstractConfigurationProvider: Created channel MemChannel
16/12/08 01:57:12 INFO source.DefaultSourceFactory: Creating instance of source Twitter, type org.apache.flume.source.twitter.TwitterSource
16/12/08 01:57:12 ERROR node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows.
org.apache.flume.FlumeException: Unable to load source type: org.apache.flume.source.twitter.TwitterSource, class: org.apache.flume.source.twitter.TwitterSource
at org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:67)
at org.apache.flume.source.DefaultSourceFactory.create(DefaultSourceFactory.java:40)
at org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:327)
at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:102)
at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.apache.flume.source.twitter.TwitterSource
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:195)
at org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:65)
... 11 more
これが私のflume.env.shファイルの詳細です
.bashrc の詳細
スナップショット ファイルのパスを変更しようとしても、うまくいきませんでした。
hadoop - エラー node.PollingPropertiesFileConfigurationProvider: 構成データの読み込みに失敗しました。例外が続きます。org.apache.flume.FlumeException:
ここでスナップショット jar を lib フォルダーに移動すると、flume コマンドの実行後にこのエラーが発生します。
user@ubuntu:~/hadoop_store/apache-flume-1.4.0-bin/bin$ ./flume-ng エージェント -n TwitterAgent -c conf -f ../conf/twitter1.conf
も試した
user@ubuntu:~/hadoop_store/apache-flume-1.4.0-bin/bin$ ./flume-ng エージェント -n TwitterAgent -c conf -f /home/user/hadoop_store/apache-flume-1.4.0-bin /conf/twitter1.conf
同様の質問の1つで、そのように言及された原因は、まさにその発言です
これが私のtwitter1.confファイルです。これにエラーはありますか
ここで何が問題なのか理解できません
apache-spark - PythonでFlume Twitterストリームをsparkに接続する際のUTF-8エンコーディングエラー
Flume エージェントによって収集された Twitter データを Spark Stream に渡すときに問題が発生しています。Flumeのみを使用している間、twitsを個別にダウンロードできます。しかし、次のエラーが発生します。FlumeUtils.createStream() のデフォルトの UTF-8 エンコーディングに関する問題だと思います。どうすれば変更できますか?そして、何に変更すればよいですか?
pyspark 端末のエラー:
PySpark コード:
pyspark を開始するコマンド
フルーム会議:
Flume エージェントを実行するコマンド:
hadoop - Flume Twitter ストリーミングの問題
Flume 1.6.0-cdh5.9.1を使用して、Twitter ソースを使用してツイートをストリーミングしています。
設定ファイルは以下です。
Cloudera .jar 依存関係については、flume-sources-1.0-SNAPSHOT.jar
以下の依存関係を使用して Maven でビルドしました。
ここで、Flume エージェントを実行すると、正常に開始され、Twitter に接続されますが、最後の行の後で停止します (ステータス ストリームの受信)。
最後の行の後は何も起こりません。終了せず、何もストリーミングしません。HDFS の場所を確認しましたが、何も作成されていません。
誰かがここで私を助けることができますか?