Spark での indexedRDD 作業の状況は? SnappyDataを見た人はいますか? 彼らは、データフレームに対して高速でランダムな読み取りと書き込みを行うことができると主張しています。

ドキュメントを読みましたが、次の質問に対する答えが見つかりません。

• 既に実行中の Spark クラスターをセットアップする (つまり、SnappyContext を使用できるように jar を追加する) ことを希望しますか、それともバンドルされた Spark を使用することが必須ですか? 可能であれば、支援してください: SPARK_HOME はランチャーによって実行時に設定されているようです

• JAVA_HOME を定義する場所 今のところ、すべてのスナッピーサーバーノードで bin/spark-class で実行しました

• scala 2.11 で SnappyData をビルドする

感謝、サイフ

conf/servers に設定されたすべてのサーバーを使用してシェルを起動する方法が見つからないようです

リードの場所を指定する /bin/snappy-job.sh を使用してクラスター ジョブにサブミットできることがわかっただけですが、クラスター全体を使用していくつかのテストを実行するためにリアルタイム シェルを試してみたいと思います

ありがとうございました、

サイフ

スパーク v. 0.5

ロケーターを開始するために使用したコマンドは次のとおりです。

DRDA サーバーをローカルで起動するように見えますが、クライアントが接続する外部インターフェイスはありません。そのため、この JDBC URL を使用して、外部のクライアント ホスト (SquirrelSQL エディターなど) から SnappyData ロケーターにアクセスできません。

これは接続しません:

「localhost/127.0.0.1」ではなくパブリック IP アドレスで DRDA サーバーを起動するには、./snappy-shell.sh location start コマンドにどのプロパティを渡せばよいですか?

SnappyData v.0-5

root 以外のユーザー「foo」として Ubuntu にログインしています。SnappyData ディレクトリ/インストールは、「foo」ユーザーと「foo」グループが所有しています。

ここでスクリプトを使用してすべてのノード (ロケーター、リード、サーバー) を開始しています。

SNAPPY_HOME/sbin/snappy-start-all.sh

ロケーターが起動します。サーバーが起動します。リードはこのエラーで死亡します。

16/07/21 23:12:26.883 UTC serverConnector INFO JobFileDAO: rootDir は /tmp/spark-jobserver/filedao/data 16/07/21 23:12:26.888 UTC serverConnector エラー JobServer$: Spark JobServer を開始できません: java .lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java .lang.reflect.Constructor.newInstance(Constructor.java:423) at spark.jobserver.JobServer$.start(JobServer.scala:69) at io.snappydata.impl.LeadImpl.startAddOnServices(LeadImpl.scala:283) at io .snappydata.impl.LeadImpl$.invokeLeadStartAddonService(LeadImpl.scala:360) at io.snappydata.ToolsCallbackImpl$.invokeLeadStartAddonService(ToolsCallbackImpl.scala:28) org.apache.spark.sql.SnappyContext$.invokeServices(SnappyContext.scala:1362) org.apache.spark.sql.SnappyContext$.initGlobalSnappyContext(SnappyContext.scala:1340) ) org.apache.spark.sql.SnappyContext.(SnappyContext.scala:104) で org.apache.spark.sql.SnappyContext.(SnappyContext.scala:95) で org.apache.spark.sql.SnappyContext$.newSnappyContext (SnappyContext.scala:1221) org.apache.spark.sql.SnappyContext$.apply(SnappyContext.scala:1249) org.apache.spark.scheduler.SnappyTaskSchedulerImpl.postStartHook(SnappyTaskSchedulerImpl.scala:25) org.apache .spark.SparkContext.(SparkContext.scala:601) at io.snappydata.impl.LeadImpl.start(LeadImpl.scala:129) at io.snappydata.impl.ServerImpl.start(ServerImpl.scala:32) io.snappydata.tools.LeaderLauncher.startServerVM(LeaderLauncher.scala:91) で com.pivotal.gemfirexd.tools.internal.GfxdServerLauncher.connect(GfxdServerLauncher.java:174) で com.gemstone.gemfire.internal.cache .CacheServerLauncher$AsyncServerLauncher.run(CacheServerLauncher.java:1003) at java.lang.Thread.run(Thread.java:745) 原因: java.io.FileNotFoundException: /tmp/spark-jobserver/filedao/data/jars。 java.io.FileOutputStream.open0(Native Method) でのデータ (許可が拒否されました) java.io.FileOutputStream.open(FileOutputStream.java:270) で java.io.FileOutputStream.(FileOutputStream.java:213) で spark.jobserver で.io.JobFileDAO.init(JobFileDAO.scala:90) at spark.jobserver.io.JobFileDAO.(JobFileDAO.scala:30) ... 22 以上 16/07/21 23:12:26.891 UTC 分散システム シャットダウン フック INFOスナップストア:VM が終了しています - 分散システムをシャットダウンしています

リード ノードを開始するには、別のユーザーになる必要がありますか? 「sudo」を使用しますか？'foo' がアクセス許可を持つディレクトリを使用するように Spark に指示するプロパティを構成しますか? 事前にこのディレクトリを自分で作成しますか?

SnappyData のドキュメントとアーキテクチャ ダイアグラムは、JDBC シン クライアント接続がクライアントからロケータに移動し、サーバーへの直接接続にルーティングされることを示しているようです。

これが本当なら、Lead ノードなしで JDBC クエリを実行できますよね?

SnappyData v.0.5

AWS SnappyData インスタンスには、次の属性があります。

1. パブリック IP : 52.xxx (インターネットに公開)
2. プライベート/内部 IP : 172.xxx (AWS 内でのみ公開)
3. プライベート/内部名: ip-172-xxx.us-west-2.compute.internal (AWS 内でのみ公開)

Windows クライアントから JDBC に接続するには、次のような JDBC URL を使用します。

jdbc:snappydata://52.xxx:1527/

接続が行う一連のイベントは次のとおりです。

1. JDBC クライアントは AWS に接続し、172.xxx:1527 で Locator に到達します
2. ロケーターは、172.xxx:somePort で実行されているサーバーを検出します。
3. Locator が内部ホスト名を Windows クライアントに送り返す
4. Windows JDBC クライアントはこれに接続しようとします:

ip-172-xxx.us-west-2.compute.internal

52.xxx の IP アドレスのみが実際にインターネットで公開されているため、JDBC 接続は失敗します。

解決するには、Windows ホスト ファイルを変更して、次のマッピングを追加する必要がありました。

私のクライアントが「ホスト」ファイルをハックする必要がないように、より良い方法についてアドバイスしてください。

SnappyData v.0-5

私が抱えている問題は、JDBC 接続のテーブル メタデータと Pulse Web App が、以下で作成したテーブルを表示しないことです。

シェルと csv ファイルを使用して、SnappyData にテーブルを作成します。

データはこちら (roads.csv):

================================================= ========

SnappyData JDBC 接続があります (DBVisualizer と SquirrelSQL は同じように表示されます)。メタデータの「TABLES」リストにそのテーブルが表示されません。ただし、「select * from STAGING_ROADS」を実行すると。

CLOB を含む 10 行を返しますが、これはまったく使用できません。

第 2 に、Pulse Web App は、snappy> シェルからテーブルを作成したときにテーブルを作成したことを登録しません。ただし、JDBC クライアントから CREATE TABLE コマンドを実行すると、問題なく表示されます。

私は何か間違ったことをしていますか？snappy> シェルで作成したテーブルに関するメタデータを取得して、JDBC と Pulse にも表示するにはどうすればよいですか?