問題タブ [precision]

浮動小数点数の表現方法については少し知っていますが、十分ではありません。

一般的な質問は次のとおりです。

特定の精度 (私の目的では、基数 10 の正確な小数点以下の桁数) で、16 ビット、32 ビット、および 64 ビットの IEEE-754 システムで表現できる数値の範囲は?

具体的には、+/-0.5 (一の位) または +/- 0.0005 (千の位) の精度の 16 ビットおよび 32 ビットの数値の範囲にのみ関心があります。

私はコードを持っていますが、それを理解していません。精度が非常に重要なアプリケーションを開発しています。しかし、それは.NETにとって重要ではありません、なぜですか？知らない。

しかし、メッセージボックスには次のように表示されます。3.5助けてください、ありがとう。

傾きの計算精度を上げる方法があれば教えてください。（これはここ数ヶ月前に出てきました）。

それは変更することによって思われます:

に

改善かもしれません。提案？

編集：私が求めているのは精度であり、効率ではありません。

ミリ秒の入力を取り、入力が経過時間の最小量であることのみを保証する Sleep() 以外に、c のウィンドウで使用できるより良いスリープ関数を誰かが知っているかどうか疑問に思っていました。私は 1 ミリ秒で通過していますが、実際には 15 ～ 16 ミリ秒の遅延が発生しています。指定されたスリープ時間を正確に設定する方法はありますか?

だから私は浮動小数点の精度 (そして 1.1 のようなものを 2 進数で正確に表現できないこと) については知っていますが、疑問に思っているのは、数学関連のライブラリはどのようにして無限精度を実装しているのでしょうか? つまり、たとえば 1.1 をバイナリで正確に表すにはどうすればよいでしょうか。簡単な説明だけでも結構です。正確な詳細は自分で把握できます。ありがとう。:)

私はMATLABの初心者です。ここに問題があります：

cは1でなければなりませんよね？なんで0なの？

b=2を直接入力した場合は次のように異なります。

精度の低下を最小限に抑えるために、浮動小数点計算でいくつかのテストを行いました。ここで示したい現象に出くわし、うまくいけば説明が得られます。

私が書くとき

結果は

同じ式を書いて明示的にキャストするとfloat

結果は

これまでは、小数点以下を含む数値リテラルは自動的floatに適切な精度の値として扱われると考えていました。にキャストするrealと、 にキャストした場合と同じ結果が表示されfloatます。

• SQL Server が数値リテラルを評価する方法に関するドキュメントはありますか?
• これらのリテラルのデータ型は何ですか?
• float精度を上げるために本当にそれらをキャストする必要がありますか (私には皮肉のように聞こえます:)?
• 式をキャストで乱雑にするよりも簡単な方法はありますか?

(32 ビット被除数 << 32) / 32 ビット除数を使用して 64 × 32 の符号なし除算を行う特別なケースのマシン命令 udiv があると仮定すると、以下を使用して完全な 64 × 32 除算を行うことができます。

しかし、署名されたケースは私に問題を与えています。udiv の署名付きバージョンを実行する同等の sdive 命令を想定すると、残りの部分などを処理する方法がわかりません。

PHPの浮動小数点値63.59072952118762をpostgresの倍精度列に格納しようとしています。Postgresは値を63.59073として保存します。誰かが理由を知っていますか？その値には8バイトで十分です。精度を指定するときに機能するデータ型numericを試してみましたが、実際には必要ありません。

更新： 63.5907295を保存しようとすると同じ問題が発生するため、保存される前にdoubleで何かが発生するという提案は現実的です。

Update II（部分的に解決済み）：doubleパラメーターを割り当てる行は次のようになります。

私が知らなかったのは、PDOのデフォルトのパラメータタイプが文字列であるということです。私はそれをPDO::PARAM INTに変更しましたが、より良い代替手段がなく（PARAM DOUBLEはオプションではありませんでした）、postgresに格納されたdoubleで10桁の精度が得られました（少なくともある程度の進歩）。数値タイプが適切に機能することを確認したので、数値はPDOを使用する場合の方法であり、小数点以下10桁を超える精度が必要なdoubleを使用する方法のようです。

とにかく、誰かが言ったように、私がこの種の精度を持つことが必須であるかどうかはわかりませんが、問題自体は調査する価値があると思います。

Pythonのdecimalモジュールを使用して分数を処理していますが、特定の分数の繰り返し部分だけを取得したいと思います。例：1/3の場合は3を取得したいのですが、1/7の場合は142857を取得したいのです。これを行うための標準機能はありますか？