問題タブ [precision]

この質問を復活させ、より具体的にします。任意の桁数の精度を持つ数値をサポートする .NET フレームワーク ライブラリはありますか?

単純なプロジェクトの場合、大きな数字（4294967123など）を読み取り可能にする必要があるため、接頭辞（4294967123-> 4.29G、12345-> 12.34Kなど）が付いた最初の数字のみを書き込みます。

コード（簡略化）は次のようになります。

それは機能しますが、完全な精度の対数を計算し、それを丸めて再度intにキャストするよりも、よりエレガントで優れたソリューションがあると思います。

私が考えた他の解決策：

（これはかなり遅くなりますが、読みやすくなります）

数値はベンフォードの法則に従って分散され、10 ^ x付近で丸め誤差が発生しないため、数値は符号なし64ビット数値として扱われる必要があります（たとえば、Pythonmath.log(1000,10)では2.999996が返され、2になります）。私が見逃している他の高速で正確な方法はありますか？

私は興味がある：

あなたが行う場合printf("%f", number);、ステートメントの精度は何ですか? つまり、小数点以下何桁まで表示されますか? このコンパイラは依存していますか?

マネージ C++ で double 値を解析しているときに奇妙な問題が発生します。私が何か間違ったことをしているのかもしれません。私がする時：

結果の出力は0.006000000000001. なぜ1を追加するのですか？

また、値を小数点以下 5 桁に丸めると、失敗します。私がやっている：

しかしresult2、常に0.006000000000001です。私は何を間違っていますか？

VBScript の Now() は、CDbl(Now()) として呼び出されると、10,000,000 秒の精度で時間を返すように見えます。これを使用してCIM_DATETIME 形式を返す now のより正確な実装を記述しようとしたところ、VBScript では特に正確であるにもかかわらず、1 秒に 1 回しか時刻が更新されずあまり正確ではないことがわかりました。これは、次の出力を見ることで実証できます。

私が今答えようとしている質問は、Now() を呼び出す VBScript の実行時間が 1 秒未満の場合、Now() によって返される時刻は? ということです。スクリプト インタープリタが開始された時間ですか、Now() が呼び出された時間ですか、それとも何か別の時間ですか?

分精度を使用して、2 つの日時値を比較して等価性 (まったく同じ) を判断する必要があります。これが最善の方法でしょうか? 私の日付には秒とミリ秒を含めることができますが、数分までしか考慮したくありません。

単純な電卓アプリケーションを作成するとします。このアプリケーションは、次のような単純なものを計算するだけです。

1.5 + 30 + 9755-30-200000 + 999900.54

浮動小数点数を使用するときに精度の問題があったことを少し覚えています。電卓アプリが間違った結果を作成し始めるのはどの時点ですか？ほとんどの場合、1 + 2-963422のような整数を計算するだけですが、浮動小数点数を入力することもあります。精度の問題がどこで効果を発揮し始めるかについて、私には大きな手がかりがありません。そのダブルの最後の数字だけですか？-963419.0000000000003655のように？またはそれはどのように見えますか？そして、それらを捕まえる方法はありますか？

これはバグだとしか思えません。最初のアサートは成功し、2 番目のアサートは失敗します。

バグでない場合、なぜですか？

使用するのに最適なデータ型である 0.000 に続く数値を格納したいと考えています。

ダブル？

また、INTは問題外だと思いますか？

Brainteasersからこのコードをテストしていました。

そして結果は「偽」です。データ型を変更すると:

プログラムは、正解「True」を書き込みます。

この問題は、浮動小数点の後に 6 桁を使用するだけです。15桁の精度で何が起こったのですか?