問題タブ [precision]

Rubyでフロートの表示精度を設定することはできますか？

何かのようなもの：

to_sまたは、のメソッドをオーバーライドする必要がありますFloatか？

double値が最小値、最大値、およびステップ値で定義された範囲のメンバーであることを検証するアルゴリズムを構築しようとしています。問題は、値がステップルールに従っていることを確認することです。整数の場合、これは簡単に実行できます。

ただし、これはdouble値では機能しません。これは少なくとも部分的には精度の理由によるものであることを私は知っており、すべての値に非常に大きな数値を掛けてそれらをlongに変換することにより、ソリューションをハッキングしようとしました。ただし、これはすべての値に対して機能するわけではなく、残りをチェックするときに0からのわずかな逸脱も許可しませんでした。誰かがこの問題を抱えていて、良い解決策を思いついたことがありますか？以下は、機能しない検証方法を特徴とする例とテストです。

これを行う1つの方法は、最小値から開始し、入力値以上になるまで段階的にインクリメントすることですが、醜い解決策になることを除けば、これは私のアプリの潜在的なボトルネックになる可能性があります。本当に避けたいです。

私はどんなポインタにも感謝しています...

よろしく/ヘンリック

}

これは好奇心の問題ですが、C ++で負の精度の値がどのように処理されるかを知っている人はいますか？例えば：

私はこれを試してGCCを使用しましたが、精度の値は無視されているようですが、この状況で何が起こるかについての公式の線があるかどうか興味がありました。

1.234567890のようなfloatを返すメソッドがあります。実際にそうなることをテストしたいと思います。ただし、この返されたフロートはプラットフォームごとに精度が異なるようです。戻り値が1.23456789であるとどのように主張しますか？私がするだけなら：

次に、十分な精度がない一部のプラットフォームでは失敗する可能性があります。

Mapkit の現在地の精度がマップ アプリほど良くないのはなぜですか? 精度は最高に設定されています。maps.app で自分の位置を取得しようとしている場合、アプリの精度は 50m で、500m です。私は何を間違っていますか:)? より良い結果を得るためのヒントはありますか？

ご協力いただきありがとうございます ：）

数学では、恒等式(1 + sqrt(2))^2 = 3 + 2*sqrt(2)が成り立ちます。しかし、浮動小数点 (IEEE 754、単精度、つまり 32 ビットを使用) 計算ではsqrt(2)、2 進数で正確な表現がないため、そうではありません。

では、近似値を使用sqrt(2)すると、左側と右側で異なる結果が得られるのでしょうか? もしそうなら、なぜですか？近似値を 2 乗すると精度が大幅に低下しますか?

同等の式のうち、最も正確な結果が得られるのはどれですか?

SQL Server のdecimalデータ型は、列の各値の小数点以下の実際の桁数を格納していますか?

例えば

どこ

ユーザーが入力した正確な「0.0012500」値を取得することは可能ですか、それとも別の列に入力された実際の小数点以下の桁数を保存する必要がありますか?

MySqlデータベースに対して実行されているSpringアプリケーションがあります。私は次のような販売テーブルを持っています：

私の春のクラスでは、次のものがあります。

ただし、データベースで直接このクエリが0.8500を返したとしても、これは1の価格を返します。データベースの小数からコードの長さまで、この精度の低下を回避するにはどうすればよいですか？

Perl で奇妙な動作に遭遇しました。次の減算は、結果としてゼロを生成する必要があります (Python ではこれが行われます)。

なぜそれが発生し、どのように回避するのですか？

PS Effect は、「x86_64-linux-gnu-thread-multi 用にビルドされた v5.10.0」(Ubuntu 9.04) および「darwin-2level 用にビルドされた v5.8.9」(Mac OS 10.6) で表示されます。