問題タブ [hivecontext]

Hive からクエリを送信すると、共有ロックが取得され、Hive テーブルがクエリによってロックされることがわかっています: https://cwiki.apache.org/confluence/display/Hive/Locking

それで、クエリが Spark Hivecontext によって実行されるかどうか、ロックが必要で、テーブルもロックされるのだろうか? また、Spark Hivecontext を介してテーブルにデータを挿入する場合、排他ロックが必要ですか?

ありがとう

私はSparkを初めて使用します。ここに私がしたいことがあります。

2 つのデータ ストリームを作成しました。最初に、テキスト ファイルからデータを読み取り、hivecontext を使用して temptable として登録します。もう 1 つは継続的に Kafka から RDD を取得し、RDD ごとにデータ ストリームを作成し、コンテンツを一時テーブルとして登録します。最後に、これら 2 つの一時テーブルをキーで結合して、最終的な結果セットを取得します。その結果セットをハイブ テーブルに挿入したいと考えています。しかし、私はアイデアがありません。いくつかの例に従おうとしましたが、それはハイブに1列しかないテーブルを作成し、それも読めません。ハイブの特定のデータベースとテーブルに結果を挿入する方法を教えてください。show 関数を使用して結合の結果を確認できるので、実際の課題はハイブ テーブルへの挿入にあることに注意してください。

以下は私が使用しているコードです。