問題タブ [hadoop-plugins]

このリンクを使用して、Hadoop バージョン - 2.2.0 (単一ノード クラスター) を ubuntu 12.04 (64 ビット マシン) にインストールしようとしました

http://bigdatahandler.com/hadoop-hdfs/installing-single-node-hadoop-2-2-0-on-ubuntu/

次のコマンドを使用してnamenodeを介してhdfsファイルシステムをフォーマットしている間

私がそれをしているときに、次の問題が発生します。

14/08/07 10:38:39 FATAL namenode.NameNode: namenode 結合の例外 java.lang.RuntimeException: org.xml.sax.SAXParseException; systemId: ファイル:/usr/local/hadoop/etc/hadoop/mapred-site.xml; 行番号: 27; 列番号: 1; 末尾のセクションにコンテンツを含めることはできません。

次の問題を解決するために何をする必要がありますか?

Mapred-site.xml:

奇妙な問題が発生しました。大量の入力ファイル (例: 1500 個の入力ファイル) がある場合は常に失敗するハイブ MR ジョブを取得しましたが、入力ファイルが少ない場合 (例: 50 個の入力ファイル) は常に成功します。

以下に添付されている実行ステータスによると、すべてのレデューサーが失敗し、エラーが EOFException であることがわかり、さらに混乱しています。

これを修正するための提案はありますか?

ジョブの syslog からのログ:

1. Hadoop の組み込みカウンターを個々のタスクに対して定期的に (たとえば 500 ミリ秒または 1 秒ごとに) 読み取り、ファイルに記録できますか。それができるなら、どうやってそれを行うのですか？

2. 個々のタスク pid を取得するには?

Hadoop 2.4.0 バージョン用の Hadoop Eclipse プラグインをビルドしたいと考えています。では、このプラグインをどのように構築するのでしょうか? Apache ant を使用していくつかのオプションを試しましたが、問題は解決しませんでした。

こんにちはプログラマー大丈夫ですか？

プログラミング中に pig コマンドを実行すると、コードに構文エラーが返され、解決できません。

以下にコードと発生したエラーを掲載します。

どうやら、sortedResults である 41 行目の構文でエラーが発生するようです。

コード：

これは、コードに含まれているファイルを再生するための戻り値です。

エラー：

私の豚はコード温度で実行され、エラーが発生しました。コードを下に置くと、問題の理解を容易にするエラーが発生しました。

エラーは行 38 列 15 にあり、dryTemp を削除しようとしましたが、別のエラーも発生しました。

コード：

エラーを書き留めてください、彼はちょっと大きかったです、まだ豚についてあまり知りません、私はまだ勉強しています、エラーは認識されていない変数のタイプに関係していると思いますが、修正することはできませんうまくいけば私を助けてくれます.

エラー：

ファイル 201211 hourly.txt の数行を次に示します。

WBAN,Date,Time,StationType,SkyCondition,SkyConditionFlag,Visibility,VisibilityFlag,WeatherType,WeatherTypeFlag,DryBulbFarenheit,DryBulbFarenheitFlag,DryBulbCelsius,DryBulbCelsiusFlag,WetBulbFarenheit,WetBulbFarenheitFlag,WetBulbCelsius,WetBulbCelsiusFlag,DewPointFarenheit,DewPointFarenheitFlag,DewPointCelsius,DewPointCelsiusFlag,RelativeHumidity,RelativeHumidityFlag,WindSpeed, WindSpeedFlag、WindDirection、WindDirectionFlag、ValueForWindCharacter、ValueForWindCharacterFlag、StationPressure、StationPressureFlag、PressureTendency、PressureTendencyFlag、PressureChange、PressureChangeflag、Sea -Levelpressure、SeaLevelpressflag、aglevelpresprecttype、empteffrag、empteffrag、empteffrag、empteffrag、emplectureflag、 , , ,23, ,-5.0, ,15, ,-9.5, ,-9, ,-23.0, , 24, , 5, ,120, , ,21.70, , , , ,M, ,AA, , , ,30.43, 03011,20120101,0035,0,CLR,,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 6, ,130, , ,21.70, , , ,M, ,AA , , , ,30.43, 03011,20120101,0055,0,CLR, ,10.00, , ,21, ,-6.0, ,13, ,-10.5, , -13, ,-25.0, , 21, , 0, , 000, , , ,21.71, , , , ,M, ,AA, , ,30.44, 03011,20120101,0115,0,CLR, ,10.00, , ,21, ,-6.0, 14, ,-10.1 , ,-8, ,-22.0, , 27, , 0, ,000, , , ,21.71, , , ,M, ,AA, , , ,30.44, 03011,20120101,0135,0,CLR, ,10.00 , , , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 0, ,000, , ,21.72, , , ,M, ,AA, , , ,30.45, 03011,20120101,0155,0,CLR, ,10.00, , ,21, ,-6.0, 13, ,-10.5, , -13, ,-25.0, , 21, , 6, ,130, , , ,21.72, , , , ,M, ,AA, , ,30.45, 03011,20120101,0215,0,CLR, ,10.00, , ,21, ,-6.0, ,14, ,-10.2, , -9, ,-23.0, , 26, , 5, ,090, , ,21.73, , , ,M, ,AA, , ,30.46, 03011,20120101,0235,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2,,-9, ,-23.0, , 26, , 6, ,120, , , ,21.74, , , , ,M, ,AA, , ,30.47, 03011,20120101,0255,0,CLR, ,10.00, , , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , ,23, ,-5.0, 15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , ,M, ,AA, , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , ,21.74, , , ,M, ,AA, , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , ,21.73, , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , 21.73, , , , ,M, ,AA, , , ,30.46,, , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , ,23, ,-5.0, 15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , ,M, ,AA, , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , ,21.74, , , ,M, ,AA, , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , ,21.73, , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , 21.73, , , , ,M, ,AA, , , ,30.46,, , ,21, ,-6.0, ,13, ,-10.4, , -11, ,-24.0, , 23, , 7, ,130, , , ,21.74, , , , ,M, ,AA, , , ,30.48, 03011,20120101,0315,0,CLR, ,10.00, , ,23, ,-5.0, 15, ,-9.4, ,-8, ,-22.0, , 25, , 9, ,120, , , ,21.74, , , , ,M, ,AA, , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , ,23, ,-5.0, ,15, ,-9.4, ,- 8, ,-22.0, , 25, , 8, ,120, , ,21.74, , , ,M, ,AA, , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , ,21.73, , , ,M, ,AA, , , ,30.46 , 03011,20120101,0415,0,CLR, ,10.00, , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, , 19, , 7, ,130, , , 21.73, , , , ,M, ,AA, , , ,30.46,, ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 8, ,120, , ,21.74, , , ,M, ,AA, , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , ,21.73, , , ,M, ,AA, , , ,30.46, 03011,20120101,0415, 0,CLR, ,10.00, , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, 19, , 7, ,130, , ,21.73, , , , M, ,AA, , , ,30.46,, ,M, ,AA, , , ,30.47, 03011,20120101,0335,0,CLR, ,10.00, , ,23, ,-5.0, ,15, ,-9.4, ,-8, ,-22.0, , 25, , 8, ,120, , ,21.74, , , ,M, ,AA, , ,30.47, 03011,20120101,0355,0,CLR, ,10.00, , ,21, ,-6.0, ,14, ,-10.2, ,-9, ,-23.0, , 26, , 7, ,120, , ,21.73, , , ,M, ,AA, , , ,30.46, 03011,20120101,0415, 0,CLR, ,10.00, , ,23, ,-5.0, ,14, ,-9.7, , -13, ,-25.0, 19, , 7, ,130, , ,21.73, , , , M, ,AA, , , ,30.46,46,46,

次のようなCSVがあります。行は改行ではなく「+++」で終了します。文字列「+++」が存在する場所で改行を行って csv をロードする方法は?

まず、改行または「+++」記号が存在する行を改行して、データをロードする必要があります。次に、2 番目の列の値 01 で再度フィルター処理します。

期待される出力: