1

Titan-Cassandra グラフ データベースからデータを取得し、それを Faunus を使用して単一の Hadoop ノードに書き込もうとしています。Hadoop ノードはリモート マシンで実行されています。したがって、Faunus が実行されているマシンは、データのストリーミング元のソースのように機能し、これをリモートの単一の Hadoop ノードに書き込む必要があります。

titan-cassandra-input.properties 内で、出力場所を指定して、出力がリモート HDFS に書き込まれるように指定します。

faunus.output.location=hdfs://10.143.57.157:9000/tmp/foutput

Hadoop 構成を変更しました。

core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://10.143.57.244:9000/</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>10.143.57.244:9001</value> 
    </property>
</configuration>

ソース IP を /etc/hosts に追加しました

10.143.57.244  hadoop2

しかし、Hadoop を./start-all.shで起動しようとすると、NameNode が起動していないことがわかります。NameNode ログを見ると、次のエラーが表示されます。

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.net.BindException: 
Problem binding to master/10.143.57.244:9000 : Cannot assign requested address

ソース IP にバインドしようとしている理由がわかりません。ソース IP を Hadoop クラスター内の別のノードとして扱っていますか?

クラスターをセットアップしたくありません。Hadoop ノードがソース IP からの接続をリッスンするようにしたいだけです。これを構成するにはどうすればよいですか? 助けてください。

4

0 に答える 0