Hadoop、HBase、Pig の環境から始めます。データベースを Hbase テーブルに保存します。ここに私の要求があります:
hbase-> create でデータベースを作成します。
HDFS ファイル hadoop dfs-copyFromLocal で CVS ファイルを再起動しました ~ /data.csv / user / hduser / location.csv
リクエストしたPIGを実行しました
raw_data = LOAD '/ user / hduser / data.csv' USING PigStorage (';') AS (WMO: int、成熟度: charArray、温度: int、temps_present: int、direction_du_vent: int、force_du_vent: int、pressure: int) ;
STORE INTO raw_data 'hbase :/ / TrafficFlowGrenoble' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage (WMO: int 成熟度: charArray 温度: int temps_present: direction_du_vent int int force_du_vent int pressure: int ');
ここに私のエラーがあります: 2013-07-22 22:30:31,870 [main] ERROR org.apache.pig.tools.pigstats.PigStatsUtil - 1 マップ REDUCE ジョブが失敗しました! 2013-07-22 22:30:31,872 [メイン] INFO org.apache.pig.tools.pigstats.SimplePigStats - スクリプト統計:
HadoopVersion PigVersion UserId StartedAt FinishedAt 機能 1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31 UNKNOWN
失敗した!
失敗したジョブ: JobId Alias 機能メッセージ出力 job_201307222219_0001 raw_data MAP_ONLY メッセージ: ジョブが失敗しました! エラー - 失敗 JobCleanup タスク、タスク: task_201307222219_0001_m_000001 hbase :/ / TrafficFlowGrenoble、
入力 (s): "/user/hduser/data.csv" からのデータの読み取りに失敗しました
出力 (s): "hbase :/ / TrafficFlowGrenoble" で結果を生成できませんでした
カウンター: 書き込まれたレコードの合計: 0 書き込まれたバイトの合計: 0 スピル可能メモリ マネージャーのスピル カウント: 0 プロアクティブにスピルされたバッグの合計: 0 プロアクティブにスピルされた レコードの合計: 0
バージョン: hadoop-1.1.2 pig-0.11.1
export HBASE_HOME=/usr/lib/hbase
#export PIG_CLASSPATH=”<code>${HBASE_HOME}/bin/hbase classpath:$PIG_CLASSPATH” export HADOOP_CLASSPATH=”<code>${HBASE_HOME}/bin/hbase classpath:$HADOOP_CLASSPATH” #export PIG_CLASSPATH="$PIG_CLASSPATH:/ usr/local/hbase/hbase-0.94.8.jar" export PIG_CLASSPATH="/usr/local/hbase/conf/hbase-site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr /local/hbase/lib/zookeeper-3.4.5.jar:/usr/local/hbase/lib/$ #export PIG_CLASSPATH=/home/nadir/Documents/pig-0.11.1.jar