問題タブ [external-tables]

同じ問題に関する質問を確認しましたが、テーマに見られるアドバイスは役に立ちませんでした。

1. ユーザーtpch1を使用して外部テーブルを作成しました。

   /li>

2. ユーザー tpch1 はディレクトリ zcat および tpch1_dir を作成し、それらへの読み取りおよび書き込み権限を持っています。

3. このテーブルで選択しようとすると、

   /li>

4. 私はWindows 7、Oracle 12cに取り組んでいます。勉強中に使うので全部変えられる。

5. これらのディレクトリのプロパティも変更しました。これで誰でもフルに使えるようになり、オーナーもエブリバディです。

解決策を見つけるのを手伝ってください:)

外部テーブルを作成しました。日付形式の1つを除いてすべてがうまく見えます。デフォルトはMM/DD/YYYYのようですが、ファイルにあるようにYYYYMMDDにしたいです。列は DATE_ID です。誰にも手がかりはありますか？

ありがとう！

ハイブ外部テーブルを作成してみました：

外部テーブル TestXML (storexml 文字列) を作成し、テキストファイルの場所 'wasb:///test/' として保存します。

ただし、以下のようなクエリを実行しようとすると、フィールドを抽出できません: SELECT xpath_string (storexml, '/trades/trade/USI')

入力形式の指定について話している投稿を見ました。JARS を追加 <> set xmlinput.element=Store; CREATE EXTERNAL TABLE EventStoreXML (storexml string) STORED AS INPUTFORMAT 'msdn.hadoop.mapreduce.input.XmlElementStreamingInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 'wasb:///eventstore@tradedata.blob .core.windows.net/';

add JARs ステートメントにどの jar を含めるかを判断できませんでした。Linux で HDInsight を使用しています。

任意のポインタをいただければ幸いです。-マドゥ

次のように定義された外部テーブルがあります。

LightSaberInc.txtファイルはここにあり、約 75,000 行あります。

そのテーブルをステートメントとしてクエリすると (Ctrl+Enter)、テーブルのデータを確認できます。

しかし、スクリプト (F5) として実行すると、スクリプト出力ウィンドウに何も表示されません。

ログにはエラーは表示されません。

csv のインポート中に、この奇妙なバグがエラーを隠していると思います。このエラーは、使用時に数字が正しく認識されないなど、コードの後半で他の問題を引き起こしていますto_number()。

スクリプトから外部テーブルにクエリを実行できないのはなぜですか?

ソースシステムとターゲットシステムがあります。talend ツールを使用して、SQL サーバー 2012 から Pivotal Hadoop (PHD 3.0) バージョンにデータをインポートしようとしています。

取得エラー:

私たちは試しました

[hdfs@mdw ~]$ hdfs dfs -cat /path/to/hdfs|grep 3548 として BAD 行を特定しました。

外部表とFormat句の構造

所見 :余分なデータの原因となる余分なセミコロンが表示されました。しかし、私はまだ正しいフォーマット句を提供できません。余分なデータ列エラーを削除する方法を教えてください。

どのフォーマット句を使用すればよいですか。

それについての助けは大歓迎です！

外部表の列を動的に識別する

SQL ローダーを介して複数の法律 (米国、フィリピン、ラテンアメリカなど) から従業員データをアップロードするプロセスがあります。これは少なくとも週に 1 回発生し、現在のプロセスでは、従業員情報をロードするたびに制御ファイルを作成し、SQL*Loader を使用してそれをステージング テーブルにロードします。

外部テーブルを作成し、同時リクエストを実行してデータをステージング テーブルに入れることで、プロセスを簡素化したいと考えていました。私が遭遇している2つのつまずきのブロックがあります:

一部の法律で使用されていない列がいくつかあります。

例: 米国は列「Veteran_Information」を使用しますが、フィリピンとラテン アメリカは使用しません。フィリピンは「SSS_Number」を使用しますが、米国とラテンアメリカは使用しません。ラテン アメリカでは「Medical_Insurance」列を使用しますが、米国とフィリピンでは使用しません。以下のようなもの：

ビジネス ユーザーは、標準の CSV テンプレート/形式を使用しません。

ファイルは非 IT ビジネス ユーザーによって送信されているため、通常は規定の形式に従っていません。(おそらくトレーニング/ユーザーの問題)。列の正しい順序に従っていないことが多い 列の正しい数に従っていないことが多い 列の正しい名前に従っていないことが多い 以下のようなもの:

ファイル内の正しい順序/命名規則に従っていない場合でも、外部テーブルが列の正しい順序と命名を識別する方法はありますか?

問題 2 から列データを取得する:

外部テーブルに表示されるときは、次のようにしたいと思います。

外部テーブルが上記のようなことをする方法はありますか?

前もって感謝します！

Hive でいくつかの Avro ファイルを表示するために外部テーブルを設定しているときに、興味深いアクセス許可の問題に遭遇しました。

Avro ファイルは次のディレクトリにあります。

サーバーはこのファイルに書き込むことができますが、通常のユーザーはできません。

データベース管理者として、このディレクトリを参照する外部テーブルを Hive に作成します。

通常のユーザーとして、テーブルにクエリを実行しようとしました：

奇妙なことに、ハイブを使用してファイルの内容を読み込もうとしているだけで、書き込もうとはしていません。

奇妙なことに、次のようにテーブルを分割すると、同じ問題は発生しません。

database_admin として:

通常のユーザーとして:

誰でもこれを説明できますか？

私が気付いた興味深い点の 1 つは、2 つのテーブルの Location 値が異なり、異なるアクセス許可を持っていることです。

ユーザーは書き込めません

誰でも何でもできます:)

ここで、パーティション化されたハイブ テーブルにデータ フレームを永続化しようとして、このばかげた例外が発生します。何度も調べましたが、間違いを見つけることができませんでした。

org.apache.spark.sql.AnalysisException: 指定されたパーティション列 (タイムスタンプ値) がテーブルのパーティション列と一致しません。() をパーティション列として使用してください。;

外部テーブルを作成するスクリプトは次のとおりです。

これはテーブル " events2 "のフォーマットされた記述の結果です。

これは、データが分割されてテーブルに格納されるコード行です。

アプリケーションの実行中に、以下を取得しています

指定されたパーティション列 (timestamp_val) がテーブルのパーティション列と一致しません。パーティション列として () を使用してください。

私は明らかなエラーを犯している可能性があります。賛成票で助けていただければ幸いです:)