問題タブ [knox-gateway]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
webhdfs - KNOX WebHDFS ゲートウェイ経由で複数のファイルを HDFS にアップロードする方法は?
Hadoop クラスター用に KNOX ゲートウェイをセットアップし、KNOX WebHDFS の例を確認しました。これまでのところ、以下の cURL コマンドを使用してディレクトリを作成し、単一のファイルをアップロードできることがわかっています。
3 つのファイル、たとえば を HDFS の場所にアップロードする場合、3 つのファイルに対してfile2
最後の2 つのコマンド (上から) をそれぞれ 3 回実行する必要があります。file3
file4
/user/testuser
一度に複数のファイルをアップロードできる方法を知りたいです。PUT
1 回のリクエストで複数のファイルを入力として提供する方法はありますか? 何もない場合は、ファイルをフォルダーに移動し、代わりにそのフォルダーを単一のPUT
要求でアップロードしても問題ありません。
hadoop - Hive JDBC ドライバーを使用して Squirrel 経由で Knox に接続する
Ubuntu を実行しているコンピューターに VMWare マシンを作成しました。そこで、デモ LDAP を使用して Apache Knox をセットアップしました。現在、SQuirreL を介して Knox への接続文字列をセットアップしようとしています。Cloudera の下で Hive と互換性を持たせる必要があるため、Hortonworks Sandbox を使用できません。Knox の構成を開始する前に、まず Hive JDBC ドライバーを使用して Knox に接続できるようにしたいと考えています。これが私がこれまで持っている文字列です:
jdbc:hive2://<host>:8443/;ssl=1;sslTrustStore=/gateway.jks;trustStorePassword=<master secret>?hive.server2.transport.mode=http;httpPath=gateway/default/hive
私の具体的な質問は次のとおりです。
にはどのパスを使用すればよい
sslTrustStore
ですか? 現在は にあり/home/<user>/Downloads/knox-1.0.0/data/security/keystores/gateway.jks
ます。フルパスで同じ文字列を試しましたが、まだうまくいきません。何に使うべき
httpPath
ですか?Knox は Hive を使用して Hadoop ノードに接続するため、私の VM には特に Hive がありません。接続文字列に欠けているものは他にありますか?
SQuirreL で、エラー メッセージが表示されて [スタック トレース] をクリックすると、次のような結果が得られます。
apache-zeppelin - SAML ベースの SSO を提供するために Knox を使用して、Zeppelin の HadoopGroupProvider からのグループに基づいてロールを構成する方法は?
Knox を使用して外部 IdP に対して認証し、ユーザーが正常に認証されたら LDAP インスタンスからグループ ルックアップを実行して、Zeppelin に Role Base Access Controls を実装しようとしています。
現在 Zeppelin にログインでき、HadoopGroupProvider は期待どおりにユーザーのグループを検索していますが、認証されたユーザーはどのロールにもマップされていないため、ノートブックを作成したり、インタープリターを使用したりできません。
Knox の構成を以下に示します。
これは、Zeppelin の shiro.ini 構成です。
gateway-audit.log により、HadoopGroupProvider が LDAP インスタンスに接続し、グループを正常に検索していると確信しています。
私の質問は次のとおりです。
これらのグループを Zeppelin のロールにマップするにはどうすればよいですか?
KnoxJwtRealm の org.apache.zeppelin.realm.LdapRealm の rolesByGroup 構成に相当するものはありますか?
どんな助けでも大歓迎です、事前に感謝します!