2

SAS を Hive に接続するために SAS/ACESS 9.3M2 インターフェイスを使用したいと考えています。私の質問は、sas がハイブ キューブを sas 環境にインポートし、そこでクエリを実行するかどうかです。または、レポートの目的で再びハイブにヒットし、MR を実行してレポートのパフォーマンスを 2 ~ 4 秒以上低下させます。

ハイブ テーブルをその環境にインポートすると、通常の SQL キューブと比較した場合のパフォーマンスはどうなりますか?

私はまったく新しいので、集計データが Hive テーブルにあるレポートを 2 ~ 4 秒で生成し、その上にキューブ ディメンションを作成したいと考えています。

ありがとう...

4

1 に答える 1

2

SAS/ACCESS の目的は次のとおりです。 - データの読み取りとデータソースへの書き込みを行う機能を提供し、データ型変換を処理します。 - データストアに関するメタデータ (テーブル、フィールド、データ型のリスト) を提供します。 - 平均を提供します。 SASコードをデータソース固有のコード(通常はSQLバリアントなど)に(部分的にも)変換(暗黙のパススルー)する - データソース固有のコードを記述し、データソースで実行するためにSASから送信する手段を提供します

私は Hadoop にまったく慣れていない :-) ので​​、SAS/Access to Hadoop (LIBNAME ステートメントを介して) は Hadoop からリレーショナル データを読み取ると推測します。ドキュメントでは JDBC について言及しているので、データ アクセスに使用されていると思います。SAS/Access が Hadoop からキューブをクエリできるとは思えません (それはあなたの質問ですか? - 「私はその上にキューブ ディメンションを作成しました」 - Hadoop での意味ですか?)。

通常、SAS/Access はデータソースからのデータ転送を最小限に抑え、処理をデータソースにプッシュしようとします。

http://blog.cloudera.com/blog/2013/05/how-the-sas-and-cloudera-platforms-work-togetherから:

SAS/Hadoop へのアクセス

SAS/ACCESS は、SAS の Hadoop に格納されたデータ セットにネイティブにアクセスする機能を提供します。SAS/Hadoop へのアクセス:

LIBNAME statements can be used to make Hive tables look like SAS data sets on top of which SAS Procedures and SAS DATA steps can interact.
PROC SQL commands provide the ability to execute direct Hive SQL commands on Hadoop.
PROC HADOOP provides the ability to directly submit MapReduce, Apache Pig, and HDFS commands from the SAS execution environment to your CDH cluster.

SAS/ACCESS インターフェイスは、SAS 9.3M2 リリースから利用でき、CDH 3U2 と CDH 4.01 以降をサポートします。

http://support.sas.com/documentation/cdl/en/proc/65145/HTML/default/viewer.htm#p1esotuxnkbuepn1w443ueufw8in.htmの PROC HADOOP も役立つ場合があります。

于 2013-08-21T15:14:01.403 に答える