それは非常に興味深い問題です。
Microsoft SQL Server ( Express エディションの場合もあります) との接続を確認するのはどうでしょうか。
ファイアウォールを構成した場合は、システムから Microsoft SQL Server Management Studio を介して問題なく Azure データベースにアクセスできるはずです。

または、Visual Studio を確認することもできます。ただし、Visual Studio Express エディションが Azure データベースに接続できるかどうかはわかりません (有料版が必要になる場合があります)。
SQL Management Studio を使用してまだ接続の問題がある場合は、場所と Azure データ センター間のネットワークに問題があることを示しています。その場合、別のデータ センターで別の Azure データベースを (非常に短時間) スピンアップし、ファイアウォールをセットアップして、それが機能するかどうかを確認することをお勧めします。
編集
Azure のファイアウォールを構成する方法はありますか?
データベースへのファイアウォールは、個々のデータベースのレベルでは構成できません。サーバーのレベルで構成する必要があります。
Windows Azure 管理ポータルで、[データベース] タブに移動し、データベース サーバーを選択します。

サーバーダッシュボードに入ったら、構成のトップタブを選択します。[許可された IP アドレス] の下で、DB サーバー ファイアウォールの許可された IP アドレスを変更できます。
同じセクションには、現在の IP を示す現在のクライアント IP アドレスがあります。これは、VPN を使用したり、ネットワークを頻繁に変更したりする場合に非常に便利です。