hadoop - graphLoader を使用して、hadoop から datastax グラフにデータをロードするにはどうすればよいですか? （graphLoaderを使用してhadoopからファイルを直接読み取るにはどうすればよいですか）

Question

Hadoop からローカル ディレクトリにファイルをコピーする必要がありますか。

hadoop fs -get [hadoop ソース] [ローカル dst]

使用するには:

https://docs.datastax.com/en/datastax_enterprise/5.0/datastax_enterprise/graph/dgl/dglCSV.html

Answer 1

いいえ、データをローカル システムにコピーする必要はありません。HDFS 上のファイルを直接参照して、そこから読み込むことができます。

    def source = File.csv(dfs_uri + "person.csv.gz").gzip().delimiter("|")
    load(source).asVertices {
        label vertexLabel
        key "id"
    }

これは、圧縮された csv ファイルが HDFS から読み取られるマッピング スクリプトの例です。「dfs_uri」は、ファイルが保存されている HDFS ディレクトリへの URI を指定するコマンド ライン パラメータです。