エンドポイントからデータをロードするために独自の UDF を作成しようとしています。以下はシナリオです
// A = load the user information from the cassandra db
// B = iterate through the data and make string of userids (1,2,3)
// C = send it to some UDF which can go to some external api to fetch the user information
// D = join A and C on user id
// E = group by information fetched from UDF
// dump E;
私が理解している限り、UDF は 4 種類しかありません。ロード、フィルター、EvalFunc、およびストア。LoadFunc を試しましたが、情報をロードするために常にファイル名の場所が必要なようです。ファイルから読み取りたくありません。
上記のシナリオを達成する方法はありますか。