sql - SpqrkSQL と GraphX を組み合わせる

Question

SparkSQL でストアド プロシージャを作成し、GraphX API を呼び出すことはできますか? このようなもの：

registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _)

select * from someTable where storedProcedureGraphX(nodeX, nodeY) > 10

Answer 1

GraphX APIによってRDD での操作を意味する場合、答えはノーです。これには、行ごとに新しい Spark タスクを起動することが含まれますが、これは決して良い考えではありません。そして、SparkContextシリアル化できない を閉じる必要があり、UDF として使用する関数はシリアル化する必要があります。