問題タブ [floating-accuracy]

重複の可能性:
これらの数値が等しくないのはなぜですか?

私は日常業務で Tcl を使用しません。しかし、私たちのツールの拡張言語が Tcl (!) のように機能することを望んでいる顧客と時折やり取りする同僚がいます。彼が持ち出したトピックの 1 つは、Tclがグローバル変数 tcl_precision を介して doubleに格納される精度をどのように設定できるかということでした。

私はいくつかの Web 検索を行いましたが、見つけたドキュメントは確かにこれが事実であることを示唆しているようです (印刷精度を設定するだけではありません)。ただし、tcl_precision には波乱万丈の歴史があるようです。1つか2つのバージョンで完全に削除されてから元に戻されたという印象を受けますが、デフォルト値0をオーバーライドすることについて警告とツットゥッとあります。これは実際には17を意味します（マニュアルでは、IEEE 754 ダブル）。

では、tcl_precisionが実際に行うことを約束していること、および隠れた double にどのような影響があるかについて、誰か教えてもらえますか? 数値を出力するための単なるグローバル設定ですか、それとも実際に格納されている数値の精度を切り捨てますか (これは私には危険に思えます)?

ユーザー入力に基づいて書式設定している文字列の double 表現の精度を変更したいと考えています。今、私は次のようなことを試みています：

しかし、私は受け取りますjava.util.UnknownFormatConversionException。このアプローチのインスピレーションは、C printf とこのリソース(セクション 1.3.1) でした。

どこかに単純な構文エラーがありますか、Java はこのケースをサポートしていますか、それともより良いアプローチがありますか?

編集：

私は次のようなことができると思います：

しかし、私はそのような操作のネイティブ サポートにまだ興味があります。

私は非常に奇妙なバグに遭遇しました。コード内のコメントを読んで、バグが正確に何であるかを確認しますが、基本的に1を法とする変数は1を返します（ただし、1とは等しくありません！）。フロートが1に非常に近いが、正確ではないという表示の問題があると思います。ただし、ゼロに変調する必要があります。（最後の％1）！= 1.0！であるため、このケースを簡単にテストすることはできません。同じ番号を別のPythonターミナルに接続しようとすると、すべてが正しく動作します。どうしたの？

numpy または python の標準ライブラリを使用します。小数点以下の桁数が複数ある値を小数点以下 4 桁に切り捨てるにはどうすればよいですか? 浮動小数点数を最初の 4 つの小数点と比較したいだけです。

いくつかのCコードも呼び出すC＃で記述されたアプリケーションがあります。C＃コードは、入力としていくつかのdoubleを取得し、それに対していくつかの計算を実行し、それに対して独自の計算を実行するネイティブレイヤーに渡し、次にC＃レイヤーに戻します。

異なるマシンで同じexe/dllを実行した場合（それらはすべてIntelによるx64です）、得られる最終結果が異なるマシンで異なる可能性はありますか？

私は次の問題に直面しました：

私たちのデータベースには、4040956363970588323 のような ID を持つオブジェクトがあります。私は、そのようなオブジェクトとやり取りするためのjQueryのクライアント ウィザードを書いています。クライアントは、次のようなAjaxリクエストを通じてオブジェクトに関する基本データを受け取ります。

ご覧のとおり、 JSONオブジェクト (サーバー コードの一部) のようなデータを送信します。

Firebugによると、サーバーは正しい ID をデータで送信しますがconsole.log(..)、正しい ID (4040956363970588323) の代わりに を出力しますid 4040956363970588000。

なぜこれが起こるのですか？

正しいIDがなければ、私のウィザードが正しく動作する可能性があります:)

(int)(33.46639 * 1000000)戻り値33466389

なぜこれが起こるのですか？

実行時に40510.416667の値が割り当てられるTDateTime変数があります。Frac関数を使用してTTime型変数に時間を抽出すると、0.41666666666に設定されます。なぜ値の精度が変更されたのか、元の値からの精度を維持するための回避策があります。0.416667に設定します。

IEEE 754-1985 double (64 ビット) 浮動小数点数を、人間が判読できるテキスト形式で表現する必要があります。ただし、テキスト形式を解析してまったく同じ (ビット単位の) 数値に戻すことができるという条件があります。

生のバイトを印刷するだけでなく、これを行うことは可能/実用的ですか? はいの場合、これを行うコードは大歓迎です。