precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

我的函数如下：static function applyPrecision（$ vals）{$ originalNumber = $ vals ['reading']; if（is_numeric（$ originalNumber））{$ precision =（$ vals ['precision']！...

php precision

回答 2 投票 0

oracle：查询具有数字列的输出比例和精度 - 字段数据类型=数字

我有一个数字数据类型的列。在本专栏中，我有比例和精度的值，但也只有比例可用。当我查询输出规模的数据时，我想...

sql oracle numbers scale precision

回答 2 投票 0

在Javascript中解压缩半精度浮点数

我正在尝试使用包含大量16位浮点数的javascript读取二进制文件。相当肯定它是IEEE标准，小端。阅读这两个是非常简单的......

javascript precision

回答 4 投票 4

python中浮点精度的最佳实践

今晚早些时候，我的一位朋友把这个可爱的问题递给了我。问题是：在MATLAB中创建一个程序来检查一个点是否在三角形内。不要忘记检查是否......

python floating-point double precision

回答 4 投票 3

大负数的指数

如何在Python上计算诸如np.exp（-28000）之类的数字？答案是5E-12161左右。我被告知，由于双精度浮点格式，我只能计算......

python numpy floating-point precision exponential

回答 3 投票 0

将浮点数限制为两个小数点

我想要一个四舍五入到13.95。 >>> a 13.949999999999999 >>> round（a，2）13.949999999999999圆函数不能按我预期的方式工作。

python floating-point rounding precision

回答 24 投票 1399

在double和float数据类型之间混淆

我在C ++中的double和float之间感到困惑。例如：Q。对于每种类型状态，它的常数：a。）1.0 b。）2.8e-10据我所知，a。）部分是浮点数（因为它不太精确）......

c++ types floating-point double precision

回答 3 投票 1

是否可以在（g）awk脚本中处理长整数或大整数？

由于awk处理所有数字具有双精度，长整数（作为long int类型，或更常见的：long），将以53位（或16.5位数字）到达屋顶。这意味着，如果该计划......

awk precision long-integer

回答 1 投票 4

在python3中将浮点元组转换为数组时的精度损失

当我将一个元组或浮点列表转换为带有'f'类型代码的数组时，我的准确性存在一些问题，但是'd'类型代码正确地“运行”。例如：import array a =（2 ....

arrays python-3.x precision

回答 1 投票 0

LEN在EXCEL中返回的奇数值

例如，考虑一些单元格内的以下函数字符串：A1 = B1 - INT（B1）A2 = LEN（A1）无论A1中函数返回的值（并因此保持），A2都将返回17。一世 ...

excel function precision

回答 2 投票 0

如何找到betareg包接受的最小浮点值？

我在R中进行β回归，需要0到1之间的值，排除端点，即（0,1）而不是[0,1]。我的数据集中有一些0和1值，所以我想将它们转换为...

r floating-point precision betareg

回答 1 投票 2

相同Double值的奇怪输出

我的结构如下：struct Foo {var number：Double public init（number：Double）{self.number = number}}但是当我运行这段代码时 - > var x：Double = 1.12 let foo ...

ios swift double precision

回答 1 投票 1

Tensorflow添加浮点数可提供额外的数字

所以我想知道为什么在添加它们时我没有得到下面两个浮点数的总和。根据浮点的长度以及点之前是否存在非零数字，结果为......

python tensorflow precision

回答 1 投票 3

如何在C ++中将包含指数数的QString转换为double？

我想将QString（“3.285072743893E-04”）转换为加倍，而不会影响精度。当我使用QString :: toDouble时，结果为0.000328507。我在某处读过这只是一个问题......

c++ qt double precision qstring

回答 1 投票 -2

为什么即使提供确切的数据，FLOAT类型数据比较也不起作用

在具有相同值的实际表中SELECT * FROM float_value WHERE val = 49640.2473896214 - 无数据返回如果我将其四舍五入到总精度，则它将工作SELECT * FROM float_value WHERE ...

sql sql-server sql-server-2012 floating-point precision

回答 3 投票 1

如何在使用TensorRT C ++ API编写的TensorRT模型上运行半精度推理？

我正在尝试使用TensorRT C ++ API本身编写的模型运行半精度推理（不从其他框架解析，例如caffe，tensorflow）;据我所知，没有公众......

c++ deep-learning precision inference-engine tensorrt

回答 1 投票 1

使用可变帧率编码视频

我有一个文件夹中带有时间戳的图像列表。所有图像都命名为％12d_us.jpeg（即0.000000020038_us.jpeg等）。这些图像以可变帧速率录制，因此在一个视频中...

encoding ffmpeg video-streaming precision video-processing

回答 1 投票 0

精确龙格 - 库塔系数

当使用数值方法（例如Runge-Kutta）时，计算机上浮点数的有限精度会影响解（Brouwer定律）。在本文中，它建议作为一种模拟精确的补救措施......

floating-point precision numerical-methods floating-accuracy

回答 2 投票 1

matlab中的矩阵对角化精度是多少？ [关闭]

我不知道它在后台运行什么样的算法，但它似乎无法处理包含大约10 ^ -5的元素的矩阵。

matlab matrix precision

回答 1 投票 0

在朱莉娅：Float64和BigFloat的平等

在Julia 1.0.0 REPL中，我得到以下结果：#Line 1：这是有道理的。我没想到Float64等于BigFloat。 julia> 26.1 == big“26.1”false＃Line 2：这让我很惊讶......

julia precision arbitrary-precision

回答 2 投票 2

precision 相关问题

最新问题