問題タブ [python-hdfs]

hdfs3、snakebite などがあるようです。どれが最もサポートされていて包括的ですか?

Python を使用して JSON コンテンツを HDFS の場所に書き込もうとしていますが、JSON コンテンツのすべてのキーと値について、u と '' のプレフィックスが表示されます。

元の JSON コンテンツ { "id": 2344556, "resource_type": "user", "ext_uid": null, "email": "Richard.John@abc.com", "name": "Rich John", "role" : "マネージャー", "role_id": 5944 }

hdfsの場所に書き込んでいる出力

{ u'id': u'2344556', u'resource_type': u'user', u'ext_uid': u'null', u'email': u'Richard.John@abc.com', u'name ': u'Rich John', u'role': u'manager', u'role_id': u'5944' } 接頭辞 u と '' なしで元のコンテンツ hdfs ファイルを取得する方法

次のユースケースがあり
ます。リモートの Hadoop クラスターに接続したかったのです。そこで、すべての Hadoop conf ファイル (coresite.xml、hdfs-site.xml など) を取得し、ローカル ファイル システムの 1 つのディレクトリに格納しました。kerberos 認証用の正しい keytab と krb5.conf ファイルを取得しました。Hadoop をインストールし、untar ファイルをあるディレクトリの下に配置しました/User/xyz/hadoop。次の環境変数を設定しました 。JAVA_HOME(), HADOOP_HOME, HADOOP_CONF_DIR最後に、krb5.conf ファイルを の下に置きました/etc/。kinit -kt <keytab> <principal user>このセットアップにより、ローカル ターミナルなどから Hadoop コマンドを使用して正常に認証および実行hadoop fs -ls /し、クラスターにアクセスすることができました。

ただし、hadoop をダウンロードせずに同じアクションを実行したかったのです。方法はありますか？私は python を使用しており、この hdfs python ライブラリに出会いました。しかし、私はこのライブラリを理解して操作するのに苦労しました。

1. 私が達成しようとしていることは可能ですか？
2. もしそうなら、正しい方法は何ですか？
3. hdfscli libを適切な構成でセットアップする方法を教えてもらえますか?

Python で HdfsCLI を使用しています。

私のロガーの基本的な構成は次のとおりです。

その直後、すべての python ライブラリにあると思われる信じられないほど暗くあいまいなドキュメントによると、HdfsCLI のログ レベルを次のように変更します (少なくとも私はそう思っていましたが、明らかにそうではありませんでした)。

INFOCLI のすべてのレベルのログがまだ残っているため、これは何にも影響しません。

ERRORこの CLI のおよびCRITICALレベルのログのみを保持するにはどうすればよいですか?