SnappySQLJob を書き込もうとするとコンパイル エラーが発生します。依存関係がありませんか?

エラーメッセージは次のとおりです。

タイプ org.apache.spark.sql.catalyst.TableIdentifier を解決できません。必要な .class ファイルから間接的に参照されている

ここに私の pom.xml 依存関係があります:

System.out.println() を実行するだけの単純なジョブを送信できません。これは、SnappyData リードから返されたエラーです。

ジョブは次のとおりです。

SnappyData リード ログは次のとおりです。

16/08/05 17:44:07.352 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 INFO JarManager: アプリ SimpleJobApp の jar を保存、1052 バイト 16/08/05 17:44:07.368 UTC SnappyLeadJobServer-akka.actor。 default-dispatcher-19 INFO LocalContextSupervisorActor: snappyContext1470419047337607598 16/08/05 17:44:07.369 UTC という名前の SparkContext を作成しています17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 INFO JobStatusActor: アクター spark.jobserver.JobStatusActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 INFO を開始していますJobResultActor: アクター spark.jobserver.JobResultActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor を開始します。default-dispatcher-17 INFO LocalContextSupervisorActor: SparkContext snappyContext1470419047337607598 初期化 16/08/05 17:44:07.375 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 INFO RddManagerActor: アクター spark.jobserver.RddManagerActor 16/08/05 17 を開始: 44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor: アプリ SimpleJobApp 16/08/05 17:44:07.389 のクラス snappydata.jobs.SimpleJob を読み込んでいます UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17情報 SparkContext: JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar を追加しました389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor: アプリ SimpleJobApp 16/08/05 17:44:07.389 のクラス snappydata.jobs.SimpleJob をロードしています 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO SparkContext : JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar を追加しました389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor: アプリ SimpleJobApp 16/08/05 17:44:07.389 のクラス snappydata.jobs.SimpleJob をロードしています 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO SparkContext : JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar を追加しましたhttp://10.0.18.66:50772/jars/SimpleJobApp-2016-08-05T17_44_07.353Z.jarタイムスタンプ 1470419047389 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 情報 ContextURLClassLoader: 追加された URL ファイル:/tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07 .353Z.jar から ContextURLClassLoader 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JarUtils$: ローダー spark.jobserver.util.ContextURLClassLoader@ を使用してオブジェクト snappydata.jobs.SimpleJob$ をロードしています709f3e69 16/08/05 17:44:07.391 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JarUtils$: ローダー spark.jobserver.util.ContextURLClassLoader@709f3e69 16/08/05 を使用してクラス snappydata.jobs.SimpleJob をロードしています17:44:07.392 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor: Spark ジョブを開始しています 376c8d23-6b49-4138-aadd-e4cff8f9f945 [snappydata.jobs.SimpleJob]... 16/08/05 17:44 :07.398 UTC pool-29-thread-1 INFO JobManagerActor: ジョブの将来のスレッドを開始しています 16/08/05 17:44:07.402 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobStatusActor: ジョブ 376c8d23-6b49-4138-aadd- e4cff8f9f945 はエラー 16/08/05 17:44:07.402 UTC pool-29-thread-2 WARN JobManagerActor: ジョブからの例外 376c8d23-6b49-4138-aadd-e4cff8f9f945: scala.MatchError: null at spark.jobserver.JobManagerActor で終了しました$$anonfun$spark$jobserver$JobManagerActor$$getJobFuture$4.apply(JobManagerActor.scala:244) at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24) at scala.concurrent.impl.Future $PromiseCompletingRunnable.run(Future.scala:24) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) java.lang.Thread.run(Thread.java:745) で

SnappyData v.0-5

私の目標は、snappydata ドライバー プログラムを実行して、リモート サーバーの SnappyData に接続することです。これを行うためにJunitを書きました。ただし、実行すると、SparkContext がインスタンス化されているというエラーが表示されます。

私の pom.xml 依存関係は次のとおりです。

DBVisualizer Generic プロファイルとウィザードのセットアップを使用して SnappyData Store にアクセスしていますが、ツールはロードするドライバー クラスをランダムに追跡できず、毎回接続を再作成する必要があります。

製品: DbVisualizer Pro 9.2 [ビルド #2348]

接続の確立中にエラーが発生しました: 選択されたドライバーは、指定されたデータベース URL を処理できません。このエラーの最も一般的な理由は、データベース URL にドライバーが受け入れられない構文エラーが含まれていることです。このエラーは、間違ったドライバーでデータベースに接続しようとしたときにも発生します。これを修正して、再試行してください。

SnappyData 用のオープン ソース DBVisualizer 'Database Profile' や、汎用 DB 接続ドライバーの設定を確実に維持するためのより良い回避策はありますか?

snappy shell から kafka を使用して Spark ストリーミング テーブルを作成すると、問題が発生します。

「例外「無効な入力 'C'、予想される dmlOperation、挿入、withIdentifier、選択または配置 (行 1、列 1):」

参照: http://snappydatainc.github.io/snappydata/streamingWithSQL/#spark-streaming-overview

ここに私のSQLがあります：

シェルは、最初の文字「C」のスクリプトが気に入らないようです。次のコマンドを使用してスクリプトを実行しようとしています。

どんな助けでも大歓迎です！

すべての「Spark」の部分が SnappyData の「統合クラスター モード」展開トポロジのどこに収まるかを理解しようとしています。

これを読むと、ドキュメントはいくつかの点について不明確です:

http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode

1. マスター - リードまたはロケーターは誰ですか?
2. スレーブ/ワーカーの実行先... - リードまたはサーバー?
3. Executor execute on... - サーバー (これはドキュメントでは簡単に見えます)
4. アプリは次で実行されます... - リードまたはサーバー?
5. ジョブは次の場所で実行されます... - リードまたはサーバー?
6. ストリームは次の場所で実行されます... - リードまたはサーバー?

毎回異なる場所からデータ ファイルをロードするジョブがあります。runJavaJob() API の Config.java パラメータを使用して、同じジョブ JAR を送信し、別の場所を渡すだけにしたいと考えています。

キー/値の構成をsnappy-job.sh Usageに渡す方法がわかりません。

どうすればいいですか？

さまざまなコンポーネント (サーバー、ロケーターなど) の snappy 構成ファイルにいくつかのディレクティブを設定する必要があります。

snappy_ec2スクリプトは、すべての構成を作成し、クラスター全体で同期を維持するのに優れていますが、自動生成されたスクリプトにディレクティブを追加するための実用的な方法を見つける必要があります。

このスクリプトを使用する推奨される方法は何ですか?

例: 「servers」ファイルに次を追加します: -gemfirexd.disable-getall-local-index=true

または、これらの文字列を次のような環境ファイルに追加する必要があるかもしれません snappy-env.sh

ティア

-ダグ

Kafka トピックから json を読み取るスナッピー ストリーミング テーブルがあります。いくつかの作業の後、これが機能するようになりましたが、オブジェクトからストリーミング テーブルに java.sql.Timestamp値をマップしようとしたときに問題が発生しました。SensorData

org.apache.spark.sql.catalyst.CatalystTypeConvertersこのメソッドの 318 行目でエラーが発生していました。

デバッグを実行したところ、コードは明らかにここで文字列値を想定していましたが、私の sensorData オブジェクト (およびストリーミング テーブル) センサーと収集時間はタイムスタンプです。したがって、値を変換できないと不平を言っていました。

以下は、Kafka から受信した json メッセージの値をマップするために使用する SensorData クラスです。次に、カスタム コンバーターで、これらの値をメソッド Seq[Row]内の my にマップします。toRows(...)

ここに私のストリーミングテーブルがあります:

この問題を回避するために、SensorData オブジェクトのデータ型を文字列に変更し、ストリーミング テーブルの列のデータ型を次のように変更しました。

その結果、このデータ型の変更を行った後、Kafka からターゲット列テーブルにデータを正常にストリーミングすることができました。

私の質問...私はSnappyData/ストリーミングの世界にかなり慣れていないので、これがバグ(既知/未知)であるかどうか、またはタイムスタンプデータ型をストリーミングテーブルにバインドするよりエレガントな方法があるかどうかを知りたいですか?

******応答ごとに更新********

ここに私の行コンバーターがあります:

私は最初に Java オブジェクトを変換しようとしましたが、それをデコードする際に問題が発生していました (おそらく、私が立ち上げたときに API の知識が不足していたためだと思われます)。最終的に、JSON 文字列を Kafka に渡すだけになりました。

@ https://github.com/SnappyDataInc/snappy-poc/blob/master/src/main/scala/io/snappydata/adanalytics/Codec.scala で提供された例で、受信するタイムスタンプ値を適切にラップしていないことがわかりますSeq[Row] を構築するときの java.sql.Timestamp 呼び出しで (これは長々と入ってきます)。それが私の問題を解決するかどうかを確認するために、それを試してみます。