問題タブ [apache-drill]

Apache drill 1.2 では、RDBMS データをクエリできますhttps://drill.apache.org/blog/2015/10/16/drill-1.2-released/

ここで JDBC PostgreSQL ドライバーをダウンロードしました: https://jdbc.postgresql.org/download.html 私は JDBC4 を取りました。

jarファイルをこのフォルダー「apache-drill-1.2.0\jars\3rdparty」に入れました

そして今、postgres 用のプラグインを追加しようとしています。Web コンソール ( http://127.0.0.1:8047 ) を使用して実行しています。pgplugin という名前のプラグインを作成し、次の構成を追加しました。

{ "type": "jdbc", "driver": "org.postgresql.Driver", "url": "jdbc:postgresql://IP:port/myschema", "username": "root", "password": "root", "enabled": true }

エラーが表示されています：エラー（ストレージを作成/更新できません）

以下だけでも動作しません(同じエラー):

{ "type": "jdbc" }

jar (jdbc postgres ドライバー) を構成ファイルのどこかにある apache ドリル クラスパスに追加する必要があることはわかっていますが、わかりません...

これを追加しようとしました：drill.exec.sys.store.provider.local.path = "/mypath"

drill-override.conf->結果は次のとおりです。

drill.exec: { cluster-id: "drillbits1", zk.connect: "localhost:2181", drill.exec.sys.store.provider.local.path = "/mypath" }

しかし、それは機能していません...何かアイデアはありますか? どうもありがとう ！

Apache Drill v1.2 および Oracle Database 10g Enterprise Edition リリース 10.2.0.4.0 - 64 ビットを組み込みモードで使用。

Apache Drill を Oracle DB に接続することに成功した人がいるかどうか知りたいです。次の構成で更新しましたdrill-override.conf（ドキュメントごと）：

に配置ojdbc6.jarし\apache-drill-1.2.0\jars\3rdpartyます。ストレージ プラグインを正常に作成できます。

しかし、次のようなクエリを発行すると:

次のエラーが表示されます。

他のスキーマ/テーブルをクエリして、同様の結果を得ようとしました。Teradata への接続も試みましたが、同じエラーが発生しました。提案がある/同様の問題に遭遇した人はいますか?

次の方法でs3バケットにクエリを実行しています。apache drill

同じことが通常の場合にも発生しますselect:

select * fromdirectory/file.csvを使用すると同じことが起こります;

私が間違っていることは何ですか？

私のストレージプラグインファイルは次のとおりです。

明らかにaccessKeyIdとsecretAccessKey変更されている場所...

red-queenは mys3 bucketで、バケット内はdirectoryフォルダとしてです。

Apache ドリル クラスタでクエリを実行していますが、マイナー セグメントが 1 つしか作成されません。2 つのクエリの結合などのさまざまなクエリを試しましたが、500 万件のレコードで実行しましたが、まだ 1 つのフラグメントしか作成していません。複数のセグメントを作成して、各ドリル ビットで個別に実行できるようにするための構成変更はありますか。クエリが 1 つの drillbit インスタンスで実行されているか、複数のインスタンスで実行されているかを確認するにはどうすればよいですか?

VM をドリルして、正常に接続できました。停電後に vm を再起動しましたが、組み込みモードでドリルを開始しようとすると、次のメッセージが表示されます。

再起動する必要がある依存関係はありますか?

使用: Apache ドリル

次のデータをより構造化された形式で取得しようとしています。

望ましい出力:

データセットは数 GB に達します。Drill は入力を 3 つの列に読み取り、最後の文字列を 1 つの列に読み込みます。最後の列で文字列操作操作 (REGEXP_REPLACE および CONCAT) を実行し、列を json (CONVERT_FROM) として読み取り、最後に KVGEN および FLATTEN を使用して異なる列に分離することで、目的の出力を正常に達成しました。

正規表現関数のため、実行時間はかなり長くなります。より良いアプローチはありますか？

(PS: 実行時間は、目的の出力を達成するために pyspark ジョブを使用する場合と比較されます)。

Drill で次のストレージ プラグインをセットアップしています。

ただし、単純な

応答に 30 秒以上かかっています。何が不足していますか / どこからトラブルシューティングを開始すればよいですか?

Hive メタストア サーバーは現在、Drill と同じです。また、テーブル内のレコードは 20,000 未満です。