2

Facebook データ ストリーミング用に Flume を設定する手順を教えてください。

Twitter からデータを抽出するために Flume を正常に構成しました。

twitter からデータを抽出するために作成した構成をご覧ください。

Twitter の Flume 構成

TwitterAgent.sources = Twitter 
TwitterAgent.channels = MemChannel 
TwitterAgent.sinks = HDFS

# Describing/Configuring the source 
TwitterAgent.sources.Twitter.type =          org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.consumerKey =  4ENqf3q23iwdTSDJchv7w 
TwitterAgent.sources.Twitter.consumerSecret =      bAPTWfbRildBMWsEHo56SmZeXkftvZNCgvjHXbcUfAKoKzQjY0VIUOftTh6c 
TwitterAgent.sources.Twitter.accessToken = 736128293661855746-   rQIQYZNGCh9lW8XHCkjcnvwZH1BItnGi0XJ0gHM26F
TwitterAgent.sources.Twitter.accessTokenSecret = ehTsqX7GcU1aBqmekDcwPuu1csFOnfgzxc2EPtS0kudXOADeAAI 
TwitterAgent.sources.Twitter.keywords = modi, india elections, bjp,   congress, tdp,jana sena, pwan kalyan, mohanlal

# Describing/Configuring the sink 

TwitterAgent.sinks.HDFS.type = hdfs 
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://env11-hadoop-  master.trv.flytxt.com:54310/user/Hadoop/twitter_data
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = writable 
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1
TwitterAgent.sinks.HDFS.hdfs.rollSize = 1
TwitterAgent.sinks.HDFS.hdfs.rollCount = 1

# Describing/Configuring the channel TwitterAgent.channels.MemChannel.type =   memory 
TwitterAgent.channels.MemChannel.capacity = 10000 
TwitterAgent.channels.MemChannel.transactionCapacity = 100
TwitterAgent.channels.MemChannel.type = file

# Binding the source and sink to the channel 
TwitterAgent.sources.Twitter.channels = MemChannel

TwitterAgent.sinks.HDFS.channel = MemChannel

For configuring twitter we need the following configurations

TwitterAgent.sources.Twitter.consumerKey =   4ENqf3q23iwsdfmhadfjafjkemliSYs7w 
TwitterAgent.sources.Twitter.consumerSecret =   bAPTWfbRildangxvasxvhaxjasbxkjtvUfAKoKzQjY0VIUOftTh6c 
TwitterAgent.sources.Twitter.accessToken = 7361282936618557ZNbcvHJxjxbnH1BItnGi0XJ0gHM26F
TwitterAgent.sources.Twitter.accessTokenSecret = ehTsASNMGCxvashgvcxjAHvcSFGcjahgPuu1csFO2EPtS0kudXOADeAAI 

しかし、facebook で同じものを取得する方法は? または、Flume を使用した Facebook データ ストリーミングの動作構成を親切に提供してください。

4

1 に答える 1