graph - Spark GraphX - Spark で JSON ファイルを読み取り、データからグラフを作成するにはどうすればよいですか?

Question

私は Spark と Scala を初めて使用します。JSON ファイルから一連のツイーター データを読み取って、頂点がツイートを表し、エッジがツイートのリツイートであるツイートに接続するグラフに変換しようとしています。オリジナル投稿作品。これまでのところ、JSON ファイルから読み取り、RDD のスキーマを理解することができました。SchemaRDD オブジェクトから何らかの方法でデータを取得し、頂点用の RDD とエッジ用の RDD を作成する必要があると思います。これはこれにアプローチする方法ですか、それとも代替ソリューションがありますか? どんな助けや提案も大歓迎です。

Answer 1

これは本当にjsonファイルに依存します。json ファイルからデータを解析し、解析されたデータに基づいて頂点とエッジを作成する必要があります。これを実装する特定の方法はありません。実際にはプログラマ次第です。1 つの方法は、頂点配列とエッジ配列を作成し (再び解析されたデータに基づいて)、それらを並列化 (VertexRDD と EdgeRDD を作成) してから、必要なグラフを作成することです。私が助けてくれることを願っています。