問題タブ [piglet]

私は次のテストを持っています。そしてクラス。今、私はルールを書く方法を見つける必要があります、そしてそれはとても単純に見えました;-)。しかし、私はどこにも速く行きません。タグが言うように、私はこれのために子豚を使って学びたいです。

そして、これが私がこれまでに試したことです。

アップデート

Randompunterのおかげで、最初の2つのテストに合格しました。

Web サイトのログを処理するスクリプトがいくつかあります。このデータを Hive の複数のテーブルにロードしました。これらのスクリプトを毎日実行して、トラフィックの分析を行っています。

最近、これらのスクリプトで作成したハイブ クエリに時間がかかりすぎていることがわかりました。以前は、レポートの生成に約 10 ～ 15 分かかっていましたが、今では同じことを行うのに数時間かかります。

私はデータの分析を行い、データセットの増加の約 5-10% を行いました。

私の友人の 1 人が、複数の Hive テーブルを結合することに関しては Hive は良くないので、スクリプトを Pig に切り替える必要があると提案してくれました。Pig と比較して、Hive はテーブルの結合が苦手ですか?

データセットをロードし、それを 2 つの別個のデータセットに分割してから、いくつかの計算を実行し、最後に別の計算フィールドを追加する豚のスクリプトがあります。ここで、これら 2 つのデータセットを再び結合したいと思います。

したがって、基本的に、計算後の両方のスキーマは次のとおりです。

ここで、これを HDFS に戻す前に、2 つのデータ セットをマージして戻します。UNION ALLSQLのようなもの。どうやってやるの？