vectorization 相关问题

矢量化是指一种编程范例,其中函数一次性在整个数组上运行。这在函数调用,存储器访问,并行化和代码表达方面提供了好处。某些编程语言(如MATLAB)经过优化,可在向量化时提供最佳性能。

如何有效地向量化 R 中的积分函数?

我正在使用Integrate()进行数值积分。我正在积分的函数取决于多个参数,我想计算大量参数值的积分。我现在...

回答 1 投票 0

用 apply/maply/etc 替换循环。加快速度

我有以下使用嵌套循环的代码。这使用样本随机数据和样本数(相对于实际应用来说较小)N、Taumax 和 Tmax。 <- 10000 Taumax <- 50 ...

回答 1 投票 0

以向量化方式访问 numpy ndarray 的列

我有一个索引列表列表,如下所示: 外部列表 = [[0], [1, 2], [1, 2], [3, 5], [4], [3, 5]] 每个内部列表包含其自身在外部列表中的索引号。 我也有一个 numpy ar...

回答 1 投票 0

从当前行列值查找数据框中最低值的最快方法

对于下面数据框中的每一行,想要填充 minlow 和 lowdate。 minlow 应该找到未来最低的“low”列,然后设置 minlow 和 lowdate。我有很多代码示例...

回答 1 投票 0

向量化 3D 数组的 NumPy 协方差

我有一个形状为 (t, n1, n2) 的 3D numpy 数组: x = np.random.rand(10, 2, 4) 我需要计算另一个形状为 (t, n1, n1) 的 3D 数组 y ,使得: y[0] = np.cov(x[0,:,:]) ...等等...

回答 2 投票 0

在 JAX 中进行“移位”矩阵乘法的更快方法

我有两个数组 f 和 g,f 是 N × T × J 维,f 是 T × J 维。我正在尝试在 JAX 中计算以下内容(对于所有 0<=t 我有两个数组 f 和 g,f 是 N × T × J 维,f 是 T × J 维。我正在尝试在 JAX 中计算以下内容(对于所有 0<=t 请注意,如果 t-a<0 I’d like it to default to 0. What would be the fastest approach? 现在,我创建一个所有可能索引的列表,将相关索引中计算的两个数组按元素相乘,然后将它们相加: import jax.numpy as jnp all_indices = jnp.array([(θ, t, a) for θ in range(N) for t in range(T) for a in range(J)]) θ_idx, t_idx, a_idx = all_indices[:, 0], all_indices[:, 1], all_indices[:, 2] tma_idx = jnp.maximum(t_idx - a_idx, 0) unrolled = f[θ_idx, t_idx, a_idx] * g[tma_idx, a_idx] s = unrolled.reshape(N, T, J).sum(axis=(0,2)) 这似乎不是特别有效或优雅,我希望有更好的解决方案。 我怀疑实现这一点的最佳方法是首先移动 2D 矩阵,然后通过 einsum 执行完全缩减。例如: t = jnp.arange(T)[:, None] a = jnp.arange(J) g_shifted = g[jnp.maximum(t - a, 0), a] s = jnp.einsum("ntj,tj->t", f, g_shifted) 与原始解决方案相比,这将g中的索引操作数量减少了T倍,并且依赖于高效的einsum操作来计算最终结果。

回答 1 投票 0

在Python中有效地向量化这个函数

问题描述 我编写了 Python 代码来计算以下函数,用于固定 y_i 和固定 z_i。 在实践中,我将有许多不同的向量 x,我想在其中评估它们......

回答 1 投票 0

如何使用 SIMD 优化这个“点积”函数?它是 Mat4x4 * Vec4,但具有巨大的跨步访问

我在尝试为该函数获得最佳加速时遇到了一个大问题,但我无法编写击败自动矢量化器的有效 SIMD 代码。我需要写一些 SIMD 来击败它,但我已经完成了......

回答 1 投票 0

PyTorch:从一批图像中矢量化补丁选择

假设我有一批图像作为张量,例如: 图像 = torch.zeros(64, 3, 1024, 1024) 现在,我想从每个图像中选择一个补丁。所有补丁的大小都相同,但是...

回答 2 投票 0

Milvus 异常:<MilvusException: (code=65535, message=efConstruction out of range: [1, 2147483647])>

我有以下错误:MilvusException: 当我在 milvus db 上创建 HNSW 索引时。有什么建议吗

回答 1 投票 0

有没有办法在Python中向量化这个逻辑?

我正在研究一个金融模拟问题,我有一段非常简单的代码,它利用 for 循环来获得结果。 我认为应该可以将其向量化,但我也认为......

回答 1 投票 0

如何在亚麻模型中的多个Dense实例上进行vmap?尝试避免循环密集实例列表

来自jax导入随机,vmap 从 jax 导入 numpy 作为 jnp 导入打印件 def f(s,层,do,dx): x = jnp.zeros((do,dx)) 对于 i,枚举中的层(层): x=x.at[i].set( 层( s[i] ) ...

回答 1 投票 0

AVX512 4D 向量收集的最佳指令序列

使用 AVX512 指令,我可以使用索引向量从数组中收集 16 个单精度值。然而,这样的收集操作效率并不高,并且仅以 2 标量的速率发出......

回答 1 投票 0

使用 tf.layers.TextVectorization 预处理大型数据集会出现内存错误

我有大约 300k 个文件,大约 9GB 的医学文献。 我的目标是确定数据集中所有标记的频率并将它们序列化为 csv 文件(标记、频率)。 为了达到

回答 1 投票 0

std::sort、std::accumulate、std::memcpy 可以因为 -mavx / -mavx2 标志而向量化吗?

我有一个使用 Clang 编译器在 -mavx/-mavx2 标志下编译的 C++ 源文件。 有些函数有 AVX2 实现,但有些只是纯粹的 std 调用。 我想知道可以 std::

回答 1 投票 0

遇到java.lang.IllegalArgumentException

我正在开发一个Java项目,它基本上是一个假新闻检测应用程序。该数据集包含两列文本(新闻文章)和标签(0:假/1:真)。该数据被转换为 JSO...

回答 1 投票 0

使用 python pandas 对多个仓位进行矢量化止损/止盈回测

简介 我正在使用 python pandas 根据本地存储的市场数据回测自己的策略。因为我想快速回测这些策略并且数据很大(7+000000 行),所以我正在尝试

回答 1 投票 0

两幅图像特征之间的每像素余弦相似度

我们有两个 3D 矩阵 HxWxC,其中 H、W 是 2D 图像的尺寸,C 是每像素特征。我们想要计算 fi 的每个像素特征的 arg-最大余弦相似度...

回答 1 投票 0

需要计算 60,000 个坐标之间的距离

我正在Python中进行一项相关研究,需要一个包含60,000个数据点的数据集中每对坐标之间的距离矩阵。我尝试过矢量化,并使用 geop...

回答 1 投票 0

word2vec 无法使用 gensim 库工作

我正在尝试使用 gensim 提供的 word2vec 模型对我的数据集进行矢量化。我面临着 scipy 提出的错误。 从 gensim.models 导入 Word2Vec 从 nltk.tokenize 导入 word_tokenize 导入...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.