CardLayoutを検討しましたか? http://docs.oracle.com/javase/tutorial/uiswing/layout/card.html
個人的には、別のダイアログを使用することは、構成設定に関して少し古いと思います。私はタブ付きレイアウトを好みます。これは、上部にタブバーが付いたカードレイアウトです。
アプリケーションをほぼ最上位のカードレイアウトに簡単にラップし、メニューアクションを追加して構成カードに切り替えることができます。[確認]または[キャンセル]ボタンをメインのアプリケーションカードに戻します。
結局のところ、それは本当にユーザーが好むものについてですが、それがより良い解決策でなくても、多くのユーザーが知っていることを好むかもしれないことを覚えておいてください。バランスを見つける必要があります。実装がうまくいかない場合、最終的には、問題へのアプローチを他のアプリケーションで使用することを望んでいます。
この完璧な例は、複数のウィンドウではなく、タブブラウジングです。個人的には、タブの閲覧に慣れてきた今、複数ウィンドウの閲覧に戻ることは想像できませんが、ある時点では、複数のウィンドウが町で唯一のゲームでした。
結局、間違った選択をしたことがわかった場合は、どちらのソリューションでも簡単に実装できるように、コードを十分にクリーンに保ってください。構成画面が単なるJPanel(またはJPanelにラップされている)である限り、それを行うのはそれほど難しいことではありません。