precision 相关问题

//-5.5511151231257827021181583404541015625E-17 BigDecimal accAmount = new BigDecimal（position.accAmount）; //5.5511151231257827021181583404541015625E-17 BigDecimal comissionAmount = new BigDecimal（...

java java-8 precision bigdecimal

回答 2 投票 0

C＃-为什么使用大数（例如1000000000f）的float.CompareTo（）无法按预期工作

为什么使用大数字的float.CompareTo（）无法按预期工作？测试数字：float a = 1000000000f;浮点b = 1000000001f;浮点c = 1000000002f;浮点d = 999999999f;结果：a.CompareTo（a）= ...

c# floating-point comparison precision

回答 1 投票 0

关于IEEE 754浮点运算的问题

我想问一个关于IEEE 754浮点数的操作问题：（以IEEE 754单精度浮点数为例：1个符号位，8个指数位，23个尾数位...

floating-point precision ieee-754

回答 1 投票 0

从C ++中的函数返回双精度的问题

我有一个函数，如：double foo（int a，int b）{double r = a + b;返回r / 2.0; }当a = 10000和b = 10001时，它可以正常工作。返回10000.5但是当a = 100000 b = 100001时返回100000 I ...

c++ double precision

回答 1 投票 1

TFLite模型在GPU上溢出，在CPU上正常。内部有什么区别？

[在Android上，我有一个模型可以在CPU上正常运行，但是在切换到GPU委托时会溢出（结果为'Infinity'）。如果我重新缩放输入，就可以消除溢出，所以这似乎是一个问题...

gpu precision tensorflow-lite tf-lite

回答 1 投票 0

如何用最小的精度损失将大于64的u64数字除以f64是否可以整除？

对于小于2 ^ 54的u64数，可以通过强制转换为f64来完成而不会造成很多精度损失：（（6 as f64）％1.5）：...

rust floating-point precision

回答 1 投票 2

如果不执行双精度运算，是否可以在Java中保持精度？

我想存储从0.00到10.00的值（双精度）。我只需要2位数的精度。如果我对双打不进行任何操作，是否可以保证我将始终获得存储在变量中的内容？我是...

java floating-point double precision

回答 3 投票 0

Scala双重保存并确定地从二进制文件中读取

我如何让Scala将Double保存为二进制文件并在不损失精度的情况下将其读回？ Scala已经有了一个很好的框架，可以将Double保存到文本文件中，并以字符串表示形式进行编码...

scala file binary double precision

回答 3 投票 1

具有数值公差的向量矢量匹配

我正在尝试将数字向量中的值与一组离散值进行匹配，但是由于舍入误差，它们不一定是精确匹配。考虑下面的示例，转换球形...

r match precision

回答 1 投票 0

确保C ++双精度为64位

在我的C ++程序中，我需要从外部字节序列中提取64位浮点数。有没有办法在编译时确保double是64位？我还应该使用其他类型来存储...

c++ types precision compiler-construction ieee-754

回答 7 投票 19

[整数数组与浮点数组上带有**的numpy求幂

为什么在对浮点数组和整数数组进行运算的**之间有区别？ **在整数数组上与在浮点数组上的区别是什么？这是某种舍入吗？

python arrays numpy precision exponentiation

回答 2 投票 0

precision 相关问题

最新问题