Azure テーブルからデータをインポートしてから、Azure 上の Hadoop クラスターにエクスポートしたいと考えています。現在、Azure テーブルから .csv にデータをダウンロードしてから、.csv を Hadoop クラスターにアップロードしています。直接行う方法がないか知りたいです。
ありがとう、キラン
Azure テーブルからデータをインポートしてから、Azure 上の Hadoop クラスターにエクスポートしたいと考えています。現在、Azure テーブルから .csv にデータをダウンロードしてから、.csv を Hadoop クラスターにアップロードしています。直接行う方法がないか知りたいです。
ありがとう、キラン
Azure Storage Tables によってサポートされる Hive Table を作成できるようにする HiveStorageHandler を作成しました。github で入手できます。
https://github.com/simonellistonball/hive-azuretables
これが機能するには、Hadoop クラスパスにMicrosoft Azure SDK for Javaも必要になることに注意してください。これを行う最も簡単な方法は、おそらく /usr/lib/hadoop/lib/ などの中心的な場所にインストールすることです。
私のレポで mvn パッケージを実行すると、ハイブ ADD JAR でロードできるものを取得する必要があります。リポジトリのReadmeには、Azure に接続する Hive テーブルを作成する方法を示すサンプル クエリが含まれています。