私にはいくつかの考えがありますが、私は webgl の第一人者ではないので、それについてはわかりません。
WebGL にはカメラがありません。それをシミュレートしたい場合、彼は多くのオブジェクトを操作しなければなりません...正確には、数十万の頂点に位置を変更する必要があります。私は Three.js や Babylon js をそれほど深く勉強していないので、カメラとどのように連携するのかわかりません。
頂点シェーダーは頂点位置を変換できるのでcamera matrix、頂点シェーダーに渡すことができるので、CPU の代わりに GPU がハードワークを行うように、頂点シェーダーに計算させるのは理にかなっていますか?