問題タブ [delta-lake]

Databricks Delta テーブルの列名を変更したいと考えていました。

だから私は次のことをしました：

ここでは、デルタへの書き込み時に最後のステップでエラーが発生しています。

明らかにデータは削除されており、おそらく上記のロジックで何かを見逃している可能性があります。現在、データを含む唯一の場所はnew_data_DF. のような場所への書き込みdbfs:/mnt/main/sales_tmpも失敗します

new_data_DFデルタの場所にデータを書き込むにはどうすればよいですか?

差分ロケーションを使用してテーブルを作成したいのですが、プロセスが停止しました。

...実行コマンド

プロセスは終了していません。24 時間前に実行しましたが、まだ「実行中のコマンド」のままです。問題なくデルタ形式をパスに格納するストリーミング ジョブを実行しています。

スパークカタログが見れます。

私の問題は、以前のパスを使用してテーブルを作成するプロセスがスタックしたことです。その理由を知りたいです。クラスターを再起動し、フォルダーからすべてを削除し、データベースを削除し、テーブルを削除しようとしましたが、同じ問題があります。

以下のコードを使用して、デルタレイク テーブルとして保存しているストリーミング データを受信して​​います。

ここで、database はデータベースの名前で、tablename はテーブルの作成に使用されるテーブルの名前です。

show create the tableを使用してテーブルのスキーマを表示すると、場所フィールドは abfs://storageaccount@storageaccount.dfs.core.net/default/db_name/table_name のようなランダムな場所を指しています。ただし、場所を指定した場所に向けたいと思います。どうやってやるの ？

以下のアプローチを試しましたが、うまくいきませんでした。

しかし、上記のアプローチは機能しません。これで私を助けてください。