precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

如何以最大精度将5个浮点数均匀编码为4个浮点数

我最初会问这个，但我发现我自己的解决方案效果很好，所以我会在这里发布这个以供参考。简而言之，我的情况是，我有4个频道，其中......

floating-point shader precision

回答 1 投票 0

十进制到浮点 - 舍入逻辑

我知道有很多关于浮点数的问题，但我仍然无法找到我想要的东西。将1 000 000 032转换为浮点数为0 10011100 11011100110101100101000并且...

floating-point rounding precision

回答 2 投票 0

julia round函数是否包含大数的错误？

julia round函数似乎可以正常运行到阶乘（75），但是在阶乘76处中断。这是圆函数中的错误吗？ julia> round（factorial（big（75）），sigdigits = 2）2.5e + 109 julia> ...

julia precision biginteger digits arbitrary-precision

回答 1 投票 3

PostgreSQL何时采用双精度列类型

我有一个同事，一直告诉我不要在PostgreSQL列中使用双精度类型，因为我最终会有舍入问题。我只知道一个案例......

postgresql precision

回答 1 投票 0

Python decimal.Decimal - getcontext（）。prec设置和输出中的小数位数

我想使用decimal.Decimal对转换后的数字字符串进行算术运算。我希望返回有两位小数，无论转换后的数字字符串有多少小数。在这......

python floating-point decimal rounding precision

回答 1 投票 0

numpy数组的元素总和与总数不同

我正在尝试计算对的数量并将它们保存在两个不同的直方图中，一个将对保存在一个数组中，其中父对象被拆分而另一个只保存总数，这意味着我......

python numpy precision

回答 1 投票 0

如何在fortran中控制rand函数中的小数位数？

在下面的代码中，我想生成一个小数点后有两位数的随机数。例如，我想要一个随机变量给出（0.26）而不是（0.26463）。这是我的代码：...

floating-point fortran precision

回答 2 投票 -1

显示时，Json结果显示错误的值

从webapi返回的结果如下所示[{“id”：1，“name”：“TEST 1”，“no”：35797506102858582}]当json结果时，“no”属性的值被错误地返回为35797506102858584 ...

json json.net editor string-formatting precision

回答 1 投票 0

用C语言减去浮点数

＃包括＃包括 float sum（float * A，int len）//浮点表的总和{float ss = 0.0; int i; for（i = 0; i <len; ++ i）ss + = A [i]; ...

c floating-point precision floating-accuracy qsort

回答 2 投票 -3

是否可以设置Set的精度。载有（）？

假设我们有Set的实现。它包含以下值：[2.0,5.0,7.0]。包含（2.0001d）在这种情况下返回false，因为double值被精确比较...

java set double precision

回答 4 投票 8

什么是在PostgreSQL中存储Javascript号码的最佳方式

我有从Javascript代码生成的数字，我想将它们存储在PostgreSQL表中。我有遗留表，整个JSON对象存储为JSONB类型，在新表中我想...

javascript sql node.js postgresql precision

回答 1 投票 0

浮点中整数的精确表示

我试图理解浮点格式的整数表示。由于IEEE浮点格式尾数只有23位，所以我希望任何大于1的整数

c++ floating-point precision

回答 1 投票 1

浮点数呈现背后的谜团

我正在为我的应用程序测试一些简单的解决方案，我遇到了一些问题出现在我脑海中的情况......“为什么一个浮动数字正确地用JSON表示（正如我所料）而另一个不是......

swift floating-point decimal precision floating-accuracy

回答 3 投票 0

美制公制：单独转换汇总或转换？ [关闭]

我正在开发一个程序，允许用户以公制或美制单位输入测量值并将其存储在数据库中。之后，应该允许用户检索多个总和...

c# sql-server-2008 tsql precision

回答 2 投票 0

在C中除以整数将值向下舍入/结果为零

我正在尝试对整数进行一些算术运算。问题是当我试图进行除法得到双倍的结果时，结果总是0.00000000000000000000，即使这显然不是......

c floating-point precision floating-accuracy

回答 4 投票 0

SAS十进制精度和写入数据库

美好的一天，我遇到了这个问题，我在数据库中写了一些数字，在SAS中应该有0.1的值，但由于一些奇怪的原因在SQL数据库中显示为0.09。我手动检查时......

sas precision

回答 2 投票 0

为什么sqrt（）指定的浮点数没有精度损失？ [关闭]

我想了解C如何处理浮点数的精度损失。这是我的简单代码：#include ＃包括 int main（）{double a; int i; ...

c precision

回答 2 投票 1

Code ::在Windows中以固定精度阻止printf double

我在两个不同的操作系统上构建并运行以下代码：#include using namespace std; int main（）{double d = 1.123456; printf（“％。5lf”，d）; COUT <

c++ printf double codeblocks precision

回答 1 投票 0

C ++使用epsilon的双打比较

我为使用epsilon的双打定义了一个比较函数，如下所示：浮点数和双重比较的最有效方法是什么？如果它们的绝对差异是两个双打则不同......

c++ precision

回答 4 投票 1

h5py矩阵存储精度

我想使用Python3-h5py将矩阵存储到.HDF5格式我的问题是，当我将初始数据与从HDF5文件中提取的数据进行比较时，我得到了惊人的差异。进口numpy ...

python-3.x numpy floating-point precision h5py

回答 1 投票 1

precision 相关问题

最新问题