parallel-processing 相关问题

与并发处理形成鲜明对比的是,并行处理保证以并行方式执行所有线程级和/或指令级任务,并保证同时执行的代码路径的完成。

使用 joblib 和 skimage 进行多进程:PicklingError:无法腌制任务以将其发送给工作人员

我正在尝试并行化通过栅格成本表面查找最小成本路径的任务,但我不断遇到相同的 PicklingError:无法腌制任务以将其发送给工作人员。 ...

回答 1 投票 0

C# 中向量的 ParallelEnumerable.Sum?

C# 中向量是否有与 ParallelEnumerable.Sum() 等效的函数?我目前正在使用 System.Numerics Vector2s,但实际上任何具有多个组件的数据结构都可以正常工作。我是...

回答 1 投票 0

使R代码(dada2包)在HPC计算机上多线程运行(通过slurm提交)

我的 R 代码无法在 HPC 集群上并行运行,我不明白为什么。根据dada2文档,如果为multithreaded = #标志指定了一个整数,它将被传递给

回答 1 投票 0

将 Promise 与 SQLite 内存数据库一起使用

我有一个闪亮的应用程序,它使用在 R 中创建的 SQLitebase。我想知道我是否可以在使用 future_promises 工作时以某种方式获取结果。现在,当我尝试查询时遇到错误...

回答 1 投票 0

我如何知道矢量函数 (SIMD) 是否真的可以同时处理多个对象?

我试图了解我的编译器是否将我的向量表示法解释为单个对象(相当于 for 循环)或一次处理多个数据。 有谁知道我该怎么做?我有...

回答 1 投票 0

SQL Server 2019 可能存在的 bug,有解决办法吗?

我们在一台较低环境的服务器上进行了从 SQL Server 2016 到 SQL Server 2019 的就地升级。该服务器上有两个数据库。我们将两个数据库的兼容性级别设置为 150。W...

回答 1 投票 0

将primises与SQLite内存数据库一起使用

我有一个闪亮的应用程序,它使用在 R 中创建的 SQLitebase。我想知道我是否可以在使用 future_promises 工作时以某种方式获取结果。现在,当我尝试查询时遇到错误...

回答 1 投票 0

编译的 JAX 函数无缘无故变慢

我正在使用 Jax 进行科学计算,具体来说,并行计算系统中所有粒子的成对相互作用力。这是为了模拟细菌的动力学......

回答 1 投票 0

使用 OpenMP 计算直方图

我想并行化此代码以获得最佳性能。 “histogram”存储某种颜色出现的次数(有10种不同的颜色,因此直方图的大小为10)。 “img”是...

回答 4 投票 0

有没有办法在 Common Lisp 中并行执行表单?类似于并行 PROGN?

我有一系列数组赋值: ... (incf(aref res 1)公式1) (incf (aref res 2) 公式2) ... 公式是一些复杂的自动生成的代码,并且每个 i 都有很大不同。 ...

回答 1 投票 0

在`foreach()`中使用`lapp()`并行计算NDVI

我正在尝试计算国家航空影像计划(NAIP)图像的大型目录的归一化植被指数(NDVI)。 我想并行运行它以加快速度

回答 1 投票 0

有人可以解释一下 Spark 应用程序是如何在本地模式下执行的吗?

我正在努力将机器集群上的 Spark 框架知识调整为本地模式。 我的问题是: a) SparkContext 连接到集群,然后如果 master="local[*]"...

回答 1 投票 0

如何正确等待多个 I/O 任务并进行单独的异常处理?

我需要从同步方法(不能是异步!)并行发送多个 HTTP 调用(httpclient.SendAsync()),然后等待所有调用。另一个要求是:我必须单独处理

回答 1 投票 0

同时加载和处理数据 - Python

我有大量数据需要处理,并且存在一些 IO 限制。最终,读取和写入数据所花费的总时间与处理数据所花费的总时间大致相同。然而,虽然我...

回答 1 投票 0

计算 350 万个 ID 组合中同时出现的实体的最大数量的函数?

我得到了这个: x| y 1 | a、b、c、d、e 2 | a、b、c、d 3 |甲、丙、丁 ... 我想要这个: 1,2 | 4(甲、乙、丙、丁) 1,3 | 3(a、c、d) 2,3 | 3(a、c、d) 我有 3*10^6 这样的行(300 万条记录) 你可能是 -...

回答 1 投票 0

OpenMPI 1.4.3 与 Intel MPI 效率问题

我注意到完全相同的代码在 OpenMPI 上运行的时间比 Intel 多 50%。我使用以下语法来编译和运行: 英特尔 MPI 编译器:Redhat Fedora Core 版本 3(海德堡),Ke...

回答 1 投票 0

GOMAXPROCS 未按预期设置处理器数量

我只是做一些测试,看看我是否可以在出于某些科学目的调用 Fortran 函数时运行 Go。我想比较在一个核心上运行的 goroutine 与在所有 22 个核心上运行的 goroutine 的功能...

回答 1 投票 0

PyPolars:加速应用功能查找共同元素

我试图在引用单元格的列表列中查找公共元素。我可以用一个小数据集来完成它,但我面临两个问题。即使是 25 行,速度也慢得要命

回答 1 投票 0

使用#pragma omp paralle for

我正在使用 C++ 和 OMP 库练习 2 个线程的暴力破解: #包括 #包括 #包括 #包括 #包括 我正在使用 C++ 和 OMP 库练习 2 个线程的暴力破解: #include <iomanip> #include <sstream> #include <openssl/md5.h> #include <cstring> #include <iostream> #include <omp.h> #define NUM_THREADS 2 int main() { unsigned char digest[MD5_DIGEST_LENGTH]; std::cout << "Enter hash: "; std::string target; std::cin >> target; char password[11] = "0000000000"; bool flag = true; std::ostringstream password_stream; std::ostringstream hex_hash; while (flag) { #pragma omp parallel for num_threads(NUM_THREADS) for (unsigned long long i = 0; i <= 9999999999ULL; ++i) { password_stream << std::setfill('0') << std::setw(10) << i; std::string password_str = password_stream.str(); MD5(reinterpret_cast<const unsigned char*>(password_str.c_str()), password_str.length(), digest); for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) { #pragma omp critical hex_hash << std::hex << std::setw(2) << std::setfill('0') << (int)digest[i]; } std::string hex_hash_str = hex_hash.str(); //std::cout << omp_get_thread_num() << std::endl; if (hex_hash_str == target) { #pragma omp critical std::cout << "Orginal password: " << password_str << std::endl; flag = false; } if (i % 100000 == 0) { std::cout << "Wrong: " << password_str << " " << hex_hash_str << " Trying again..." << std::endl; } } } return 0; } 但是他们要么试图写入一个流,要么我得到了错误的十六进制数字哈希计算,或者是分段错误或总线错误。 我正在尝试使用 #pragma omp critical 以避免线程写入一个流。另外,我尝试在 #pragma omp parallel for 之前将带有密码和十六进制哈希的变量放入全局变量中。所有这些都会导致哈希计算错误或分段错误。 密码由10位数字组成 我认为有几个问题: password_stream 和 hex_hash 不是线程安全的 std::ostringstream 不是线程安全的 变量 flag 和 password_stream 由所有线程共享。 password_stream、hex_hash和digest未本地化到线程 没有测试自己,但试试这个: while (flag) { #pragma omp parallel for num_threads(NUM_THREADS) for (unsigned long long i = 0; i <= 9999999999ULL; ++i) { std::ostringstream password_stream; // moved inside the loop password_stream << std::setfill('0') << std::setw(10) << i; std::string password_str = password_stream.str(); unsigned char local_digest[MD5_DIGEST_LENGTH]; // changed to local MD5(reinterpret_cast<const unsigned char*>(password_str.c_str()), password_str.length(), local_digest); std::ostringstream hex_hash; // moved inside the loop for (int j = 0; j < MD5_DIGEST_LENGTH; ++j) { hex_hash << std::hex << std::setw(2) << std::setfill('0') << (int)local_digest[j]; } std::string hex_hash_str = hex_hash.str(); if (hex_hash_str == target) { #pragma omp critical { std::cout << "Original password: " << password_str << std::endl; flag = false; } } if (i % 100000 == 0) { #pragma omp critical { std::cout << "Wrong: " << password_str << " " << hex_hash_str << " Trying again..." << std::endl; } } #pragma omp flush(flag) // improved if (!flag) break; } }

回答 1 投票 0

如何将多个插补的并行处理结果合并到单个 mids 对象中?

我一直在尝试使用 mouseadds 并行进行多重插补(我使用 2l.pmm 方法,该方法在小鼠中不可用)。这是并行处理的代码: 库(foreach) 库...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.