0

HDInsight クラスターで外部データ ソースを作成しようとしています。その際、場所を Hadoop、名前、ノード、IP アドレス、およびポート番号として提供する必要があります。

では、HDInsight クラスター上の両方の名前、ノード、IP アドレス、リソース マネージャーの場所、IP アドレス、およびポート番号はどこで確認できますか?

私は既にCore-site.xml&yarn-site.xmlをブラウズしましたが、HDInsight については何も見つかりませんでした。

--- 3: 外部データ ソースを作成するための構文。 

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH (  
    TYPE = HADOOP,   
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx',   
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx',   
    CREDENTIAL = HadoopUser1        
);

-- LOCATION (必須) : Hadoop ネーム ノードの IP アドレスとポート。
-- RESOURCE MANAGER LOCATION (オプション): プッシュダウン計算を有効にする Hadoop リソース マネージャーの場所。
-- CREDENTIAL (オプション): 上記で作成した、データベース スコープの資格情報。

ありがとう。

4

1 に答える 1

2

あなたの質問を正しく理解できれば、既に HDInsight クラスターがあり、外部テーブルを介して Azure SQL DW と通信しようとしています。「Azure SQL Data Warehouse」のCREATE EXTERNAL DATA SOURCEに関するドキュメントの構文セクションを検索すると、現時点で Azure SQL DW の Polybase が機能する唯一の方法は、Azure Blob Storage および Azure Data Lake Store と対話することであることがわかります。(Azure SQL DW の Polybase は、拡張が続けられているため、時間の経過とともにより柔軟になるため、そのドキュメント ページにご注目ください。)

したがって、現時点では、Hive で定義された外部テーブルに HDInsight で書き込みを行い、次に Azure SQL DW が BLOB ストレージ内の同じフォルダーをポイントし、それらの BLOB を読み取る独自の外部テーブルを宣言する必要があります。

于 2016-11-30T01:23:17.050 に答える