問題タブ [cloudera]

こんにちは。仮想ボックスで Cloudera Hadoop VM を実行しようとしています。

• 最初に、ダウンロードは .vmdk ファイルであることに注意しました。もちろん、このサフィックスは VMWare 用なので、少し奇妙でした。

• 幸いなことに、cloudera vmdk を仮想ボックス ファイルに変換する方法に関するチュートリアルをhttp://www.ubuntugeek.com/howto-convert-vmware-image-to-virtualbox-image.htmlで見つけました。しかし、convertdd を使用して vmdk ファイルを仮想ボックス ファイルに変換しようとすると、最終的に「ディスク イメージ "cdh.vdi" VERR_DISK_FULL への書き込みに失敗しました」というメッセージが表示されました。

• 私の質問は、Cloudera Hadoop VM を vbox でどのように実行するのですか? サイトhttp://www.facebook.com/note.php?note_id=108313592002 hereを見つけましたが、動作していないようです (このサイトでは、VMDK イメージを新しいハードディスクとしてロードすることを提案していますが、「新しい」ハードディスク)私の新しい仮想ボックスのインストールでは有効になっていません）。VBox ディスク マネージャーで「削除」と「更新」オプションしか取得できません。

CDH に変換する VBOX からの出力

~/Development$ VBoxManage convertdd /tmp/vh.bin cdh.vdi raw 画像 file="/tmp/vh.bin" から file="cdh.vdi" に変換しています... サイズ 5475663872 バイト (5222MB) の動的画像を作成しています... VBoxManage: エラー: ディスク イメージ "cdh.vdi" への書き込みに失敗しました: VERR_DISK_FULL :~/Development$ ls

Clouderaのドキュメントには、Hadoopはディスク暗号化をサポートしていないと記載されています。ハードウェアで暗号化されたハードドライブをHadoopで使用することは可能でしょうか？

無料版は限られた50ノードのみをサポートします。1台のコンピューターに2Tハードディスクを10倍使用した場合。つまり、10 * 2 * 50 = 1000T1000Tのデータを保存できますよね？

ありがとう

Cloudera の VM (CH3) を実行しています。テキスト エディタで単純な UDF をコピーしましたが、それをスクリプトで呼び出せるようにコンパイルする方法がわかりません。Pig UDF マニュアルhttp://pig.apache.org/docs/r0.7.0/udf.htmlには pig.jar をビルドするように記載されていますが、SVN へのリンクが壊れています: svn co http://svn.apache.org/ repos/asf/hadoop/pig/trunk . UDF をコンパイルする方法を教えてください。ありがとうございました

kerberos を使用して Hadoop を構成しました。すべて正常に動作し、hdfs を参照したり、ジョブを送信したりできます。ただし、http Web 認証に失敗しました。

HTTP SPNEGO をサポートする cdh3u2 で hadoop-0.20.2 を使用します。

core-site.xml の HTTP 認証関連の構成は次のとおりです。

起動時に http 認証が成功しました。

コードを調べたところ、AuthenticationFilter は doFilter 中に null トークンを取得するため、認証が開始されますが (以下のコード)、httpservletrequest での承認は null であるため、ページをリロードするたびに 1 つのログが表示されます。

構成エラーがありますか、それとも私のブラウザーが SPNEGO をサポートしていないだけですか? Ubuntu 11.04 で Chrome v16 を使用しています。

誰かが私がそれを理解するのを助ける手がかりを持っていますか?

ありがとう。

私には約10個のHadoopジョブのフローがあります。たとえば、これらのジョブを構成する一連のXMLファイルがあります。

「com.my.project.RunClass」という名前のジョブを実行するために使用されるクラスがあると仮定します。次のコマンドでジョブを実行すると仮定します。

セグメント"/path / on / my / local / system"をプレースホルダー（$ {root.conf.dir}など）に置き換えて、次のようなジョブを実行できるようにします。

これは、Hadoopのどのバージョンでも可能ですか？Clouderaディストリビューションを使用していますが、毎回失敗するようです。

現在、Microsoft SQL Server を nosql データベースに接続するビジネス インテリジェンスの調査を行っています。

私の目標は、nosql テーブルから SQL Server に基づくリレーショナル DWH にデータをインポートすることです。

次のアプローチを見つけました。

• Microsoft Hadoop コネクタ
• Hadoop Cloudera
• 個々のスクリプトを作成して xml を作成し、それを Integration Services 経由で含める (あまり満足のいくものではありません)

誰かが以前にこのようなことをしたか、何らかの「ベストプラクティス」を知っている場合。どの NoSQL システムを使用しても問題ありません

Portage (emerge) を介して Linux Gentoo EngineYard のインスタンスに Cloudera Flume をインストールするオプションを誰か知っているかどうか尋ねます。

または、flume をコンパイルするためのシェフのレシピ。

ありがとう！

シミュレートされた分散ファイル システムとして Cloudera VM (cdh3u2) を使用しています。ファイルの作成と Web サーバーからの書き込みを実行するために、fs.http.address プロパティを VM の IP を指すように変更しました。この機能は正常に動作します。問題は、HIVE が次のようなマップ削減ジョブを実行するときに発生します。

私が受け取るメッセージは次のとおりです。

Hive は次の SQL を問題なく実行します (map reduce ジョブは必要ありません)。