ある時点で Apache Spark クラスターと通信する ASP.Net Web API を作成しています。
通信は、REST API インターフェイスと私が作成した HTTP クライアントを公開する Spark クラスター上のLivyサーバーを使用して確立されます。
私のビジネス ロジックでは、spark にジョブとして送信される操作を定義する必要があります。今のところ、Livy PySpark セッションを作成し、PySpark コードを送信します。
PySpark コードは、Web API のロジックによって生成されます。コード生成の例として、Python モジュールをインポートする場合は、次のようにします。
string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/
これは私には非常に間違っており、繰り返しているようです。
私の質問: インタープリター (Livy) 構文エラーの可能性を最小限に抑えるようなコード文字列を生成するための堅牢な方法 (または設計パターン) はありますか?