完全なパイプラインの一部として SQL Server と HDInsight を一緒に使用することもできますが、入門チュートリアルでは、これらを 2 つの非常に異なるものとして考えてください。
言及されているストレージは、ブロブに基づく標準の Windows Azure ストレージ アカウントです。これらは、HDInsight クラスターのバッキング ファイル システムを形成します。
PowerShell を使用する限り、これは HDInsight クラスターにジョブを送信するための最良かつ最も簡単な方法であることは間違いありません。また、SSMS バージョンでは既定ですべての Azure モジュールが読み込まれないため、SSMS を介して利用できるものではなく、通常の PowerShell コンソールまたは PowerShell ISE を使用して HDInsight と連携することをお勧めします。
PowerShell を使用しない場合 (たとえば、OS X または Linux を使用している場合) は、ジョブを送信する他の方法があります。WebHCAT が提供する REST API を使用できます (ドキュメント)。Windows を使用していて、PowerShell よりも C# を好む場合は、Microsoft Hadoop SDK から Windows Azure HDInsight Management Client を使用してジョブを送信することもできます ( codeplexおよびnugetで利用可能)。これらを実行するには、Visual Studio を分割して、ジョブを送信するための短いコンソール プログラムを作成する必要があります。そのため、C# ストリーミング Map Reduce を完全に実行していない限り、少し重いかもしれません。
HDInsight へのジョブ送信に GUI ベースのアプローチを使用している場合、現時点ではうまくいきませんが、私のチームがRed Gateで取り組んでいることを確認してみてください。豚の仕事。