parallel-processing 相关问题

与并发处理形成鲜明对比的是,并行处理保证以并行方式执行所有线程级和/或指令级任务,并保证同时执行的代码路径的完成。

如何控制mclapply引起的潜在fork炸弹,尝试过ulimit但没有用

我在 R 脚本中使用 mclapply 进行并行计算。它节省了总体内存使用量并且速度很快,因此我想将其保留在我的脚本中。然而,我注意到的一件事是孩子的数量

回答 1 投票 0

Python LightGBM 错误:joblib.externals.loky.process_executor.TermulatedWorkerError {SIGSEGV(-11)}

我正在开发一个利用 Microsoft 的 lightgbm (lgbm) 库的 python 脚本。虽然我的 lgbm 脚本与我的 xgboost 和随机森林脚本非常相似(两者都工作正常),但我呼吁...

回答 1 投票 0

在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡

回答 1 投票 0

我们可以在 DataStage 中一次运行多个并行作业吗?

我想知道是否可以同时运行多个并行作业。 我有两个独立的并行作业“Job1”和“Job2”。 我能做的就是将它们按顺序排列然后运行。但是...

回答 5 投票 0

SQL 查询意外并行执行

尽管“并行成本阈值”的值设置为 50,但估计成本为 32 的 SQL 查询仍会并行执行。 此屏幕截图取自 SQL Server 2022CU10 服务器,...

回答 1 投票 0

gevent和多进程的区别

我正在学习如何让我的脚本运行得更快。我认为并行是一个好方法。所以我尝试了 gevent 和多处理。但我对它不同的结果感到困惑。举两个我遇到的例子 前...

回答 2 投票 0

如何在 ASP.NET 中并行运行多个方法

我在 ASP.NET 控制台应用程序中有 8 个方法,例如 Fun1()、Fun2()、Fun3() ...等等。在我的控制台应用程序中,我按顺序调用了所有这些方法。但现在的要求是我必须做

回答 2 投票 0

如何在嵌套数据框中的模型上使用 MuMIn::dredge (编辑:并行处理)

我在嵌套数据框中有许多 glmmTMB 模型,我想迭代地挖掘它们,但即使在尝试挖掘单个模型时我也会得到这个结果: eval 错误(调用(“is.data.frame&q...

回答 1 投票 0

Parallel.ForEarch - 迭代文件夹/子文件夹中的文件,某些文件丢失/跳过

尝试获取文件夹/子文件夹中所有文件的CRC32并将结果写入简单的文本框中,但在此过程中使用*Parallel.ForEach*循环跳过了一些文件。 代码: 进口S...

回答 1 投票 0

控制 Dask LocalCluster 打印到控制台

我确信有一个简单的解决方案,但我有一个 python 函数,它在运行时打印一些值,但是,我也想使用 dask 运行它,但我不想打印t 的输出...

回答 1 投票 0

如何对 DLT 中表中的所有列应用期望

我看过有关在表中的几列上使用 DLT 数据质量期望的教程和文章。下面是代码: @dlt.表( 评论=“维基百科

回答 1 投票 0

BPMN 2.0并行汇聚网关

我有一个 Bpmn 流程图。 假设它有 20 个步骤。 第 9 步后我有一个决策(排他)门。如果决策为“否”,我必须并行执行 2 项活动 ,但是这些活动机器人...

回答 1 投票 0

并行化因子:AWS Kinesis 数据流传输至 Lambda

我对ParallelizationFactor的概念很困惑。 我的理解 https://stackoverflow.com/a/57534322/13000229 过去,一个 KDS 分片只能向一个 Lambda 实例发送数据/

回答 1 投票 0

在 C 中使用 MPI 实现矩阵向量乘法时出错

我是 MPI 的新手,只学习了基础知识。在基于以下算法执行矩阵向量乘法时,出现错误消息,我无法理解,因此无法...

回答 1 投票 0

ADO 并行处理性能与 Matlab 作业不一致

我使用 ADO、Matlab/Simulink 和 Windows 自托管代理设置了构建和测试 CI 管道。当我们推送时,一个构建任务被发送到一台服务器,一个测试任务被发送到 3 个服务器(共...

回答 1 投票 0

在 slurm 中运行并行作业

我想知道是否可以询问有关并行运行 slurm 作业的问题。(请注意,我是 slurm 和 linux 的新手,两天前才开始使用它......) 根据...的说明

回答 2 投票 0

如何通过替换pyspark中的for循环来优化代码?

我必须在数据框中的所有列上实现以下函数。但是使用 for 循环对激发性能是不利的,我怎样才能避免使用 for 循环并仍然具有相同的逻辑和输出...

回答 1 投票 0

WebGPU 渲染通道基准测试

WebGPU 中是否有任何方法可以测量多通道管道中特定计算通道的执行时间? 我期望找到客观的方法来对各种计算通道进行基准测试,以便......

回答 1 投票 0

了解 doSNOW 和 foreach 的并行化,我是否必须将对象从主环境导出到每个“R”核心/会话?

我有一个关于 doSNOW 和 foreach 并行化的问题, 我看过很多关于并行化的教程(也使用其他包),它们从主环境传递了对象......

回答 1 投票 0

GDB:同时调试2个进程

假设我想调试程序“Program.exe”的 2 个实例,每个实例都有不同的参数(“一”和“二”)。另外我需要同时运行两个进程(或者至少在 1 秒内)...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.