問題タブ [hadoopy]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

15 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
2091 参照

python - Cython＆Hadoopyのコンパイルエラー..修正に関するアイデアはありますか？

Hadoopyを実行しようとしていますが、OSXでコンパイルエラーが発生します。

私は/Developer/usr/bin自分の$PATH中にあり、OS XLion10.7で最新バージョンのXCodeを実行しています。Cythonはを介してインストールされeasy_installました。

フル出力：

0 投票する
2 に答える
4269 参照

hadoop - HadoopでPDFファイルのデータにアクセスして操作する方法は？

hadoopを使用してPDFファイルを読みたいのですが、どうすればよいですか？私はhadoopがtxtファイルしか処理できないことを知っているだけなので、PDFファイルをtxtに解析する方法はありますか。

いくつか提案をください。

0 投票する
1 に答える
448 参照

hadoop - フェデレーションを使用したフル クラスタでの apache Hadoop-2.0.0 aplha バージョンのインストール

Hadoop 安定バージョンを正常にインストールしました。しかし、hadoop -2.0.0 バージョンのインストール中に混乱しました。

両方のマシンでフェデレーションを使用して、2 つのノードに hadoop-2.0.0-alpha をインストールしたいと考えています。rsi-1、rsi-2 はホスト名です。

フェデレーションを実装するために必要な以下のプロパティの値。どちらのマシンもデータノードにも使用されます。

fs.defaulFS dfs.federation.nameservices dfs.namenode.name.dir dfs.datanode.data.dir yarn.nodemanager.localizer.address yarn.resourcemanager.resource-tracker.address yarn.resourcemanager.scheduler.address yarn.resourcemanager.address

もう1点、Hadoopの安定版では、インストールディレクトリのconfフォルダーの下に構成ファイルがあります。

しかし、2.0.0-aplha バージョンでは、etc/hadoop ディレクトリがあり、mapred-site.xml、hadoop-env.sh がありません。share フォルダの下にある conf フォルダを hadoop-home ディレクトリにコピーする必要がありますか? または、これらのファイルを共有フォルダーから etc/hadoop ディレクトリにコピーする必要がありますか?

よろしく、ラシュミ

0 投票する
1 に答える
387 参照

java - Hadoop ストリーミング、typedbytes、rawbytes でキー、値、およびレコードがどのように区切られているか

Hadoop ストリーミングのテキスト レコードが改行文字で区切られていること、およびキーと値の間に設定可能な区切り文字があることを理解しています (デフォルトはタブ)。

1) rawbytes 形式の構造は、レコードまたはキー/値の区切り記号が不要であることを示唆していますが、誰かがこれが事実であることを確認できますか?

2) typedbytes 形式では、キーと値はどのように区切られ、レコードはどのように区切られますか?

3) また、キーは typedbytes と rawbytes 形式でどのようにソートされますか?

0 投票する
4 に答える
805 参照

hadoop - データノードが開始されていません

ボックスで Hadoop 設定を構成し、サンプル プログラムを使用してすべてがうまくいき、すべてのデーモンも実行状態にありました。翌日の朝 データ ノードが実行されていません。

0 投票する
1 に答える
4668 参照

python - pydoop と hadoopy - Hadoop Python クライアント

Hadoop の Python クライアントを検索しているときに、pydoop と hadoopy の 2 つのモジュールが見つかりました。両方とも十分に機能するように見えますが、どちらをインストールするのが他の利点よりも優れているかはわかりません。

0 投票する
2 に答える
2303 参照

python - PythonでHadoopにファイルを保存する方法

Python 2.7でHadoopにファイルを保存しようとしています。インターネットで検索しました。ファイルを Hadoop に保存するためのコードをいくつか取得しましたが、保存中にフォルダー全体を使用しています (フォルダー内の全ファイルが Hadoop に保存されます)。しかし、特定のファイルを保存する必要があります。

Hadoop にフォルダーを保存するためのリンクは次のとおりです: http://www.hadoopy.com/en/latest/tutorial.html#putting-data-on-hdfs

今私が必要としているのは、特定のファイルを Hadoop のように保存することですabc.txt。

これが私のコードです：

ここで私は得ていますneed more than one value to unpack

どんな助けでも大歓迎です。

0 投票する
1 に答える
66 参照

hadoop - Mapreduce の失敗ログ Hadoop

mapreduce ジョブの失敗に関する情報を含むログはどこにありますか? 何か問題が発生した場合、ステータス 1 のエラー終了が表示されます。Hadoop 2.4.1 を実行しており、mapreduce ジョブに Hadoopy を使用しています。

0 投票する
0 に答える
691 参照

python - Hadoopy 経由で HDFS から CSV ファイルを読み取る方法は?

そのファイルを行ごとに読み取ることができるように、PythonをHDFSに接続しようとしています。hadoopy チュートリアルを読んでみましたが、キーと値のペアとして存在する HDFS からデータを読み取ります。私のアプローチはどうあるべきですか？

私はこれを試しました。http://hadoopy.readthedocs.org/en/latest/tutorial.html#getting-data-from-hdfs


12345678910