pyspark を使用していくつかのログ ファイルのログを処理するために、emr で zeppelin を実行しています。
この「java.lang.NoClassDefFoundError: com/amazonaws/services/s3/AmazonS3」エラーが発生します。
解決方法がわかりません。私はさまざまなリソースを見てきました。助けていただければ幸いです。
- - エラーログ - -
Py4JJavaError: o188.partitions の呼び出し中にエラーが発生しました。: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/AmazonS3 at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:99) at org.apache.hadoop.fs.FileSystem. createFileSystem(FileSystem.java:2644) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:90) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2678) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2660) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:374) at org.apache.hadoop.fs.Path. org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:228) の getFileSystem(Path.java:296) org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:200) の org.apache .