問題タブ [graphframes]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pyspark - PySpark パッケージのインポート
(ここgraphframesから) パッケージをダウンロードし、ローカル ディスクに保存しました。では、使ってみたいと思います。したがって、次のコマンドを使用します。
graphframes新しいパッケージを除いて、pyspark のすべての機能は期待どおりに動作しimport graphframesますImportError。を調べるsys.pathと、次の 2 つのパスが表示されます。
/tmp/spark-1eXXX/userFiles-9XXX/graphframes_graphframes-0.1.0-spark1.5.jarと/tmp/spark-1eXXX/userFiles-9XXX/graphframes-0.1.0-spark1.5.jar、ただし、これらのファイルは存在しません。また、/tmp/spark-1eXXX/userFiles-9XXX/ディレクトリは空です。
私は何が欠けていますか？
apache-spark - グラフ全体ではなく、特定のノードの接続コンポーネントを見つける (GraphFrame/GraphX)
Spark で GraphFrame を作成しましたが、グラフは現在次のようになっています。
基本的に、これらの各サブグラフが互いに切断されるようなサブグラフがたくさんあります。特定のノード ID を指定すると、サブグラフ内の他のすべてのノードを検索したいと考えています。たとえば、ノード ID 1 が指定されている場合、グラフはトラバースして 2,10,20,3,30 を返します。
モチーフを作成しましたが、正しい結果が得られません。
残念ながら、連結成分関数はグラフ全体を考慮します。GraphFrame/GraphXを使用して、特定のノード ID を指定して、切断されたサブグラフ内のすべてのノードを取得することは可能ですか?
apache-spark - Graphframe オブジェクトを参照して RDD を変換する変換関数を作成する方法は?
私は Graphframe オブジェクトを持っています: g と RDD オブジェクト: 候補:
候補_rdd で「ソース」から「ターゲット」へのパスを計算し、グラフフレームの幅優先検索を使用して、キー、値のペア ((ソース、ターゲット)、path_list) を使用して結果の rdd を生成したいと考えています。ここで、path_list はソースからのパスのリストです。ターゲットに。
出力例:
以下の関数を書きました。
このエラーが発生しました：
グラフをグローバルにするかブロードキャストしようとしましたが、どちらも機能しません。
誰かがこれについて私を助けることができますか?
どうもありがとう！！
apache-spark - スパークグラフフレームで「フロースルー」エッジをマージする方法
次のグラフ アルゴリズムは、Spark GraphFrames で実装できますか?
与えられたグラフから、ちょうど 1 つの入力エッジと 1 つの出力エッジを持つノードを削除し、2 つのエッジを 1 つのエッジにマージしたいと考えています。たとえば、次のものがあるとします。
次に、グラフ単純化アルゴリズムが中央の 2 つのノードを削除します (エッジをマージし、1、8、3 の重みを合計して 12 にします)。同様に、右上の部分については、2 つのエッジを 1 つにマージします (エッジの重み 2 と 1 を合計して 3 にします)。
ここでnetworkxを使用して同様のソリューションを見つけました。
しかし、グラフが非常に大きいため、networkx を使用できないため、Spark GraphFrames でこれを実装できるかどうかを確認したいと思います。