問題タブ [cloudera]

cloudera（3）からhadoopとhbaseをインストールしましたが、 http：// localhost：60010にアクセスしようとすると、ロードが継続的に実行されます。

リージョンサーバーに正常にアクセスできます-http ：// localhost：60030 ...マスターhbaseサーバーのログを見ると、次のことがわかります。

ルート領域に問題があるようです。

これらはすべて、Ubuntu（Natty）11を実行しているext4 1TBパーティションにインストールされます。クラスター/その他のボックスはありません）。

どんな助けでも素晴らしいでしょう！

WindowsでClouderaFlumeノードを実行できますが、Flumeマスターを実行できません。これは可能ですか、そしてどのようにそれを行うことができますか？

HDFS ベースのストレージ クラスターの実行と、Cloudera リリースを通じてマウント可能な HDFS システムを使用する簡単な方法を検討しています。

最初の質問は、これによりデータの自動重複排除が提供されるかということです。

重複排除が行われるかどうかを尋ねる 2 番目の質問は、すべてのユーザーが特定の重複排除されたブロックを含むファイルを削除した場合、実際にそのブロックをストレージから削除するのか、それともそのユーザーのインデックス/参照だけを削除するのかということです。

最後に、この方法には Rainstor 圧縮方法が含まれますか?

ご意見ありがとうございます

Apache Whirr を使用して、Amazon Web Services で Hadoop の単一ノード インスタンスを実行しようとしています。にwhirr.instance-templates等しく設定し1 jt+nn+dn+ttます。インスタンスは正常に起動します。ディレクトリを作成することはできますがput、ファイルを作成しようとすると、File could only be replicated to 0 nodes, instead of 1 error. を実行するhadoop fsck /と、Exception in thread "main" java.net.ConnectException: Connection refusedエラーが発生します。私の設定の何が問題なのか誰か知っていますか?

Flume は /var/log/flume フォルダーにログを生成します。そこにあるファイルは GB 単位で増加しています。これらのログのファイル サイズを制限するにはどうすればよいですか?

8ノードのHadoopクラスターで作業しており、指定された構成で単純なストリーミングジョブを実行しようとしています。

私は、Hadoop0.20.2を使用するHadoopCDH3u0にclouderaのディストリビューションを使用しています。このジョブの実行における問題は、ジョブが毎回失敗することです。ジョブはエラーを出します：

エラーの原因について、以下のことを確認しましたが、原因がわからないままクラッシュしています。

最も奇妙なことは、ジョブがいつか正常に実行され、ほとんどの場合失敗することです。問題に関するガイダンス/ヘルプは本当に役に立ちます。私は過去4日間からこのエラーに取り組んでおり、何も理解できません。助けてください！！！

ありがとう＆よろしく、アトゥル

Windows 7 ラップトップに Cloudera VM をダウンロードして試してみました。Windows から VM で実行されている Hadoop インスタンスに接続しようとしています。ifconfig を実行し、VM の IP アドレスを取得しました。Windows ボックスで実行されている Firefox から VM で実行されている Web インターフェイスに接続できるので、少なくとも接続できることはわかっています。

ということで次にJavaからHadoopに接続してみました。

しかし、私はエラーが発生します。

uri: hdfs://192.168.171.128/user

誰でも私を助けることができますか？

クライアントプログラムでhbaseにデータを書き込もうとしています

HBase @ Hadoop は、Cloudera @ ubuntu から事前構成された VM で実行されます。

クライアントは、VM をホストするシステム上で実行され、VM 内で直接クライアントを実行します。

だから今私はvmの外のクライアントを使ってvm上のサーバーにアクセスしたい

NATを使用しています。HBase Master、HUE などのサーバーにアクセスできるようにするために、仮想ボックスでポート転送を構成した vm で実行されています。

このようにして、HBase マスター、HUE の概要サイトにアクセスできます。

vm 上のサーバーに対してクライアントを実行するために、コンテンツを含む hbase-site.xml を作成しました。

したがって、転送が機能することを期待していました：

クライアント実行時のログのエラー メッセージは次のようになります。

正しい接続ログ (vm でクライアントを直接実行している場合) は次のようになります。

したがって、ポートが正しく転送されているため、接続 URL が正しくないという最初の問題の前に、ログ行にのみ表示されますが、IP はまだ localhost であり、ポート転送設定で構成されている 10.0.2.15 ではありません。

私が見つけた唯一のヒントは、IPV6を無効にすることです->ホスト（win7）およびvm（Ubuntu）で無効になり、ポートをチェックします->それらは正しく転送されます

誰かアイデアはありますか？

java クライアントを使用して、cloudera-vm の一部である hbase に接続しようとしました。

(192.168.56.102 は vm の inet IP です)

ホストのみのネットワーク設定で仮想ボックスを使用しています。

これで、hbase マスター @ http://192.168.56.102:60010/master.jspの webUI にアクセスできます。

また、私のJavaクライアント（VM自体でうまく機能した）は、192.168.56.102:2181への接続を確立しました

しかし、getMasterを呼び出すと、接続が拒否されます。ログを参照してください。

hbase-site.xml:

persistence.xml:

TestDAO.java:

VM で実行されているネットワーク サービスを追加するだけです (netstat -ntpl):

ローカル/リモート クラスターで Hadoop ジョブを実行しようとしています。今後、このジョブは Web アプリケーションから実行されます。私はEclipseからこのコードを実行しようとしています:

ただし、次のエラーが表示されます。

HueでCDH3を使用しています。ジョブ リストにジョブが表示され、上記の実行中の子エラーが発生します。