Hadoop HDFS に配置されているすべてのファイル名を取得しようとしています。私が見つけたのは、ファイルをリストするためのbashコマンドだけです
hadoop fs -ls
Rでそれらを取得する方法はありますか.私を案内してくださいありがとう!
RHadoop プロジェクトをチェックしてください。特に、ファイルを一覧表示するために必要なパッケージは rhdfs です。
setpw("/directory/of/choice")
list.files()
結果は、現在の作業ディレクトリ内のファイル名の文字ベクトルです。
しかし、hadoop は特別だと思います。だから多分これはあなたの状況でうまくいく
system("hadoop fs -ls", intern=T)
"hadoop fs -ls" が実際にシステム コンソールで "ls" に似たものを返すと仮定すると、結果は再びファイル名の文字ベクトルになります。
私はRhipeのコマンドrhlist("/")
を使用し、データフレームを返しました。