deleteOnExit間違った使い方をしていますか？
ディレクトリを作成してから、次のコマンドを実行します。
new File("my_dir_path").deleteOnExit();
ただし、JDKのドキュメントによると、JVMがエラーなしで終了した後、ディレクトリが削除されることはありません。Requests that the file or directory denoted by this abstract pathname be deleted when the virtual machine terminates.