1

Python 2.7でHadoopにファイルを保存しようとしています。インターネットで検索しました。ファイルを Hadoop に保存するためのコードをいくつか取得しましたが、保存中にフォルダー全体を使用しています (フォルダー内の全ファイルが Hadoop に保存されます)。しかし、特定のファイルを保存する必要があります。

Hadoop にフォルダーを保存するためのリンクは次のとおりです: http://www.hadoopy.com/en/latest/tutorial.html#putting-data-on-hdfs

今私が必要としているのは、特定のファイルを Hadoop のように保存することですabc.txt。

これが私のコードです：

import hadoopy
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5'
def main():
   local_path = open('abc.txt').read()
   hadoopy.writetb(hdfs_path, local_path)


if __name__ == '__main__':
    main()

ここで私は得ていますneed more than one value to unpack

どんな助けでも大歓迎です。

4

2 に答える 2

1

は、2 番目の引数として 2 つの値のhadoopy.writetbイテラブルを想定しているようです。試す：

hadoopy.writetb(hdfs_path, [("abc.txt", open("abc.txt").read())])
于 2014-05-23T12:00:31.950 に答える
0

http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb

writedb には、kvs として 2 番目の引数が必要です – (キー、値) の反復子

あなたが与えたリンクによるとread_local_dir、コードに関数をコピーするのを忘れています。

于 2014-05-23T12:00:50.507 に答える