問題タブ [cloud-storage]

SharePoint Online は初めてですが、Google で何も見つかりませんでした: ファイル システムとクラウド ストレージに大量のファイル (読み取り: テラバイト) が保存されており、それらのメタデータにアクセスして検索できるようにしたいと考えています。それらを SharePoint Online にアップロードせずにこれは可能ですか? また、クロールされたフォルダーの階層を "同期" して、SharePoint のフォルダー構造をクリックできるようにすることもできます。ただし、これらのファイルの内容を保存したくありません (ストレージ容量の理由から)。

これは、SharePoint にファイルを検索できる同期フォルダーがあるようなものですが、ファイルはコンテンツのない、ある種のショートカットにすぎません。

ファイル システムをクロールし、メタデータとファイルへのリンクを含む空のファイルを SharePoint に作成する、ある種の時間指定ジョブを作成することを考えましたが、これは非常に粗雑に思えます。より良い解決策や、SharePoint Online 自体が提供するものはありますか?

// 編集済み: ファイル システム上のファイルだけでなく、さまざまなクラウド ストレージ サービスのクラウド ストレージ ファイルもクロールする必要があります。
// おっと、それは間違っています。2013 ではなく、SharePoint Online です。

JOSSでオブジェクトストレージに接続しようとしています。

これが私の接続コードです：

ただし、以下に示すように例外が発生しています。

この問題を解決するために私を助けてください。たくさんグーグルで検索しましたが、解決策を見つけることができませんでした。どんな助けでも感謝します。ありがとう。

注: 同じ認証情報 AuthUrl を指定することで、cloudberry などのクライアントからオープン スタック オブジェクト ストレージに接続できました。

java.lang.NoSuchFieldError: UNWRAP_ROOT_VALUE at org.javaswift.joss.command.impl.core.AbstractCommand.createObjectMapper(AbstractCommand.java:137) at org.javaswift.joss.command.impl.identity.KeystoneAuthenticationCommandImpl.setAuthenticationHeader(KeystoneAuthenticationCommandImpl.java) :46) org.javaswift.joss.command.impl.identity.KeystoneAuthenticationCommandImpl.(KeystoneAuthenticationCommandImpl.java:29) で org.javaswift.joss.command.impl.factory.AuthenticationCommandFactoryImpl.createAuthenticationCommand(AuthenticationCommandFactoryImpl.java:27) で org .javaswift.joss.client.impl.ClientImpl.createAccount(ClientImpl.java:84) org.javaswift.joss.client.impl.ClientImpl.createAccount(ClientImpl.java:27) org.javaswift.joss.client.core .AbstractClient.authenticate(AbstractClient.java:35) 組織で。javaswift.joss.client.factory.AccountFactory.createAccount(AccountFactory.java:30) at com.intel.vpg.avl.controller.AvlController.reports(AvlController.java:172) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で java.lang.reflect.Method.invoke(Method.java:606) で org .springframework.web.method.support.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:213) org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:126) org.springframework.web.servlet.mvc .method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:96) org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:617) で org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java: 578) org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:80) で org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:923) で org.springframework.web org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:882) の .servlet.DispatcherServlet.doService(DispatcherServlet.java:852) org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:778) の) javax.servlet.http.HttpServlet で。org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303) の javax.servlet.http.HttpServlet.service(HttpServlet.java:731) のサービス (HttpServlet.java:624) org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) の .core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java) :241) org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:330) で org.springframework.security.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) で。 web.access.intercept.FilterSecurityInterceptor.invoke(FilterSecurityInterceptor.java:118) at org.springframework.security.web.access.intercept.FilterSecurityInterceptor.doFilter(FilterSecurityInterceptor.java:84) at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) at org.springframework.security.web.access. org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) の ExceptionTranslationFilter.doFilter(ExceptionTranslationFilter.java:113) org.springframework.security.web.session.SessionManagementFilter.doFilter(SessionManagementFilter.java: 103) org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) で org.springframework.security.web.authentication.AnonymousAuthenticationFilter.doFilter(AnonymousAuthenticationFilter.java:113) で org.springframework.security 。ウェブ。org.springframework.security.web.servletapi.SecurityContextHolderAwareRequestFilter.doFilter(SecurityContextHolderAwareRequestFilter.java:54) の FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy. java:342) org.springframework.security.web.savedrequest.RequestCacheAwareFilter.doFilter(RequestCacheAwareFilter.java:45) で org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) で org.springframework .security.web.authentication.www.BasicAuthenticationFilter.doFilter(BasicAuthenticationFilter.java:150) at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) at org.springframework.security.web.authentication.AbstractAuthenticationProcessingFilter.doFilter(AbstractAuthenticationProcessingFilter.java:183) at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) at org.springframework.security.web.authentication.logout.LogoutFilter.doFilter( org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:342) の LogoutFilter.java:105) org.springframework.security.web.context.SecurityContextPersistenceFilter.doFilter(SecurityContextPersistenceFilter.java:87) の org org.springframework.security.web.FilterChainProxy.org.springframework.web.filter.DelegatingFilterProxy.invokeDelegate(DelegatingFilterProxy.java:346) の doFilter(FilterChainProxy.java:160) org.springframework.web.filter.DelegatingFilterProxy.doFilter(DelegatingFilterProxy.java:259) の org.apache org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) の .catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java) :220) org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122) で org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:505) で org.apache.catalina.core. org.apache.catalina.valves の StandardHostValve.invoke(StandardHostValve.java:170)。ErrorReportValve.invoke(ErrorReportValve.java:103) org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:957) org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116) org .apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:423) at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1079) at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol) .java:620) で org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:318) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で java.util. org.apache.tomcat.util.threads.TaskThread$WrappingRunnable での concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)。java.lang.Thread.run(Thread.java:745) で run(TaskThread.java:61)

私が達成する必要があるのは、cloudstorageライブラリを使用して、ファイルのリストを単一のファイルに連結することです。これは、メモリの上限が 512 MB である mapreduce シャード内で発生する必要がありますが、連結されたファイルは 512 MB を超える可能性があります。

次のコード セグメントは、ファイル サイズがメモリ制限に達すると壊れます。

この問題を回避する方法はありますか? たぶん、ファイルをチャンクで開いたり追加したりしますか？そして、それを行う方法は？ありがとう！

==編集==

さらにテストした結果、メモリ制限は にのみ適用されf.read()、大きなファイルへの書き込みは問題ないようです。ファイルをチャンクで読み取ることで問題は解決しましたが、compose()@ Ian-Lewisが指摘した機能が本当に気に入っています。ありがとう！

sas URL から vhd をコピーしようとしていますが、エラーがスローされます。

ただし、ブラウザに入力した同じ URL で vhd をダウンロードできます。「sp=r」はおそらく読み取り権限があることを意味するという sas url 署名の 1 つの側面に気付きました。私が正常にコピーできた Sas の URL には「sp=rl」が含まれています。これはおそらく、読み取りとリストの両方のアクセス許可を持っていることを意味します。

リストのアクセス許可を持たない URL で Azcopy を使用する方法はありますか? それとも別の問題ですか？

安全性を高めるために、同じデータを 2 つの異なるクラウド ストレージに保存したいと考えています。両方のアカウントからのランダムな変更の同期中に問題はありますか? クラウド ストレージは : Dropbox と MS One ドライブです。