あなたの質問に対する簡単な答えはノーです。カスタム認証を実装しないと、これをより信頼できるものにすることはできません。
Firefox と Chrome が ErrorDocument 401 ディレクティブで指定したページを表示する唯一の方法は、キャンセル ボタンをクリックした場合です。また、401 HTTP コードで送信されるリダイレクトはありません。むしろ、ErrorDocument 401 ディレクティブで指定されたドキュメントの内容です。HTML メタ タグを使用してリダイレクトできます。
<Location "/protected">
AuthUserFile /path/to/users
AuthName "This is protected area"
AuthGroupFile /dev/null
AuthType Basic
Require valid-user
#ErrorDocument 401 /register.html
ErrorDocument 401 "<html><meta http-equiv=\"refresh\" content=\"0;url=/register.html\"></html>"
</Location>
問題の可能な解決策は、カスタムの基本 HTTP 認証モジュールを作成するか、基本 HTTP 認証フックをサポートする php などの言語を使用することです。
http://php.net/manual/en/features.http-auth.php