0

推論モデルに最適な精度をどのように決定しますか? BF16 と F16 はどちらも 2 バイトを使用しますが、小数部と指数部に異なる数のビットを使用します。

範囲は異なりますが、なぜある人が他の人よりも選ばれたのかを理解しようとしています.

ありがとうございました

    |--------+------+----------+----------|
    | Format | Bits | Exponent | Fraction |
    |--------+------+----------+----------|
    | FP32   |   32 |        8 |       23 |
    | FP16   |   16 |        5 |       10 |
    | BF16   |   16 |        8 |        7 |
    |--------+------+----------+----------|

Range
bfloat16: ~1.18e-38 … ~3.40e38 with 3 significant decimal digits.
float16:  ~5.96e−8 (6.10e−5) … 65504 with 4 significant decimal digits precision.
4

1 に答える 1

1

bfloat16のドロップイン代替品として機能するため、一般的に使いやすいですfloat32。あなたのコードがnan/inf数値を作成したり、非0を0withに変換したりしない場合、大まかに言えば、どちらでもfloat32それを行うべきではありません。bfloat16したがって、ハードウェアでサポートされている場合は、それを選択します。

選択した場合は、AMPをチェックしてくださいfloat16。

于 2021-10-02T00:54:34.673 に答える