1

Spark ストリーミング ジョブをローカルで実行して、イベント ハブ データにアクセスしようとしています。のイベント ハブ構成の設定で問題が発生しましたeventhubs.checkpoint.dir。以下の値に設定してみました

  • wasbs://container_name@storage_name.blob.core.windows.net/
  • https://container_name@storage_name.blob.core.windows.net/
  • https://storage_name.blob.core.windows.net/continer_name/

それぞれ、次のようなエラーが発生しました。

ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Error handling message; restarting receiver -   java.io.IOException: No FileSystem for scheme: https
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367)
4

1 に答える 1

1

eventhubs.checkpoint.dir を、有効な wasb フォルダー名となる文字列値に設定できます。たとえば、「/myeventhubspark」に設定します。フォルダーは、Spark クラスターの既定のコンテナーに自動的に作成されます。次のように、必ずフォルダー名の前にスラッシュを付けてください -

"eventhubs.checkpoint.dir" -> "/myeventhubspark"

于 2015-09-09T23:11:40.507 に答える