8

XML データは、XML という名前の単一の文字列列として Hadoop にロードされます。データのレベルを取得して、正規化するか、処理のために単一の行に分解しようとしています (テーブルのように!)。

サンプル XML

<Reports>
<Report ID="1">
<Locations>
  <Location ID="20001">
    <LocationName>Irvine Animal Shelter</LocationName>
  </Location>   
  <Location ID="20002">
    <LocationName>Irvine City Hall</LocationName>
  </Location>   
  </Locations>
</Report>
<Report ID="2">
<Locations>
  <Location ID="10001">
    <LocationName>California Fish Grill</LocationName>
  </Location>   
  <Location ID="10002">
    <LocationName>Fukada</LocationName>
  </Location>   
  </Locations>
</Report>
</Reports>

クエリ 1

上位レベルの Report.Id を照会し、次に子 (Locations/Location) の ID と名前を照会しています。以下は、基本的に、可能なすべての組み合わせのデカルト積を示しています (この例では、希望する 4 行ではなく 8 行です)。

SELECT xpath_int(xml, '/Reports/Report/@ID') AS id, location_id, location_name 
FROM   xmlreports 
LATERAL VIEW explode(xpath(xml, '/Reports/Report/Locations/Location/@ID')) myTable1 AS location_id 
LATERAL VIEW explode(xpath(xml, '/Reports/Report/Locations/Location/LocationName/text()')) myTable2 AS location_name;

クエリ 2

構造体にグループ化してから分解しようとしましたが、これは 2 つの行と 2 つの配列を返します。

SELECT id, loc.col1, loc.col2
FROM (
SELECT xpath_int(xml, '/Reports/Report/@ID') AS id, 
       array(struct(xpath(xml, '/Reports/Report/Locations/Location/@ID'), xpath(xml,     '/Reports/Report/Locations/Location/LocationName/text()'))) As foo
FROM   xmlreports) x
LATERAL VIEW explode(foo) exploded_table as loc;

結果

1   ["20001","20002"]       ["Irvine Animal Shelter","Irvine City Hall"]
2   ["10001","10002"]       ["California Fish Grill","Irvine Spectrum"]

私たちが望んでいるのは

1   "20001" "Irvine Animal Shelter"
1   "20002" "Irvine City Hall"
2   "10001" "California Fish Grill"
2   "10002" "Irvine Spectrum"

やりたいことがよくあるようですが、例が見つかりません。どんな助けでも大歓迎です。

4

1 に答える 1

3

この問題を解決するには 2 つの方法があります。

  1. 1 つの XML 要素を解析し、必要な配列を返すカスタム UDF を作成します。その後、配列を分解します。

  2. 副選択を使用します。

サブセレクトを使用してソリューション2を実装しました。subselects を使用する場合でも、Hive はこれに対して map-reduce ジョブを 1 つだけ作成する「十分に賢い」ので、パフォーマンスの問題は発生しないと思います。

SELECT 
 l2.key,
 l2.rid,
 l2.location_id,
 location_name
FROM (
 SELECT 
  l1.key as key,  
  l1.rid as rid, 
  location_id as location_id,
  l1.xml as xml
 FROM (
   SELECT key, xml, rid
   FROM xmlreports
   LATERAL VIEW explode(xpath(xml, '/Reports/Report/@ID')) rids as rid
 ) l1
 LATERAL VIEW explode(xpath(l1.xml, concat('/Reports/Report[@ID = ',l1.rid, ']/Locations/Location/@ID'))) locids as location_id
) l2
LATERAL VIEW explode(xpath(l2.xml, concat('/Reports/Report[@ID = ',l2.rid, ']/Locations/Location[@ID = ', l2.location_id ,' ]/LocationName/text()'))) locnames as location_name;

あなたが提供した XML ファイルに対してこのクエリを実行した後、あなたが探している結果が得られました

1   1   20001   Irvine Animal Shelter
1   1   20002   Irvine City Hall
1   2   10001   California Fish Grill
1   2   10002   Fukada

これで問題が解決することを願っています。

よろしく、ディノ

于 2013-05-07T12:08:03.430 に答える