数値計算の経験則として、最初の 12 桁だけを真剣に考えてください :)
ここで、3D 回転があり、三角関数の結果が無限に正確であると仮定すると、行列の乗算には、回転したベクトルの要素ごとに 3 つの乗算と 2 つの加算が含まれます。2 回の回転を行うため、要素ごとに 6 回の乗算と 4 回の加算になります。
これを読むと (これは、1 日で最初から最後まで読む必要があります)、またはthis、またはthisを読むと、IEEE 754 の個々の算術演算が ULP の半分 (= 小数点以下の最後の桁) の範囲内で正確であることが保証されていることがわかります。
問題に適用すると、結果ベクトルの要素ごとに 10 回の操作が 5 ULP 以内で正確になることを意味します。
つまり、単位ベクトルを回転させているとします。回転したベクトルの要素は 0.000000000000005 の精度になります。心配する必要はありません。
三角関数にエラーを含めると、もう少し複雑です...プログラミング言語やコンパイラのバージョンなどに大きく依存しますが、5つのULPに匹敵することは保証します。
この精度では不十分だと思われる場合は、一度に 2 つの回転を実行することをお勧めします。行列の乗算を解析的に計算し、回転を単一の行列の乗算として実装します。あるいは、クォータニオンを見てください(あなたの状況では少しやり過ぎだと思いますが)。