hpc 相关问题

高性能计算(HPC)是指使用超级计算机和计算机集群来解决各种计算密集型问题。

对fastutil基元ArrayLists(如IntArrayList)进行迭代的最佳实践?

从Java中的fastutil库中读取迭代IntArrayList最好的是什么? fastutil是一个用于提高性能的库,高于标准库的集合... ...

回答 1 投票 0

在不同架构的集群上应该指定哪些AVX和march?

我目前正在尝试使用英特尔编译器编译软件,以便在HPC集群上使用。登录节点,也就是我编译和准备计算的地方,使用的是Intel Xeon Gold 6148处理器, ...。

回答 1 投票 0

如何在HPC上访问和查询mongodb?

我想使用pymongo对MongoDB数据库进行并行查询。我使用的是一个HPC系统,它使用Slurm作为工作负载管理器。我的设置在单个节点上运行良好,但...

回答 1 投票 1

如何在slurm id的同一个节点上运行一个多输入的python代码?

我想运行一个python程序10次,并将不同的输出文件保存为output_1、output_2、output_3......等等。它可以使用1个处理器和10个线程来运行。我可以使用96个CPU,在一个 ...

回答 1 投票 0

为了快速读写性能,HDF5推荐使用什么压缩方式(在Pythonpandas中)?

我曾多次读到,在HDF5中开启压缩功能可以提高读写性能。我想知道,在:data_df......的理想设置下,可以实现良好的读写性能。

回答 1 投票 11

我如何分析在Windows(AMD Ryzen处理器)上运行的C ++代码?

我有一个在Windows10(AMD Ryzon处理器)上运行的C ++应用程序,我正在对其进行基准测试和优化。谁能在AMD Ryzen下推荐性能分析工具...

回答 1 投票 0

使用Slurm Scheduler在多个节点上运行MPI作业

我正在尝试运行具有特定任务/节点配置的MPI应用程序。我总共需要运行8个MPI任务,其中4个在一个节点上,另外4个在另一个节点上。这是我正在使用的脚本文件:#!/ ...

回答 1 投票 0

教堂中分散的子阵列的有效收集和转移

最近,我遇到了教堂。我喜欢这些教程中提供的示例,但在我看来,其中许多令人尴尬地平行。我正在研究多体量子物理中的散射问题...

回答 1 投票 2

我如何同时在多个目录中执行SLURM脚本?

我想同时从多个目录中执行SLURM脚本。更具体地说,我有十个数组文件夹,编号为array_1到array_10,我要从中执行脚本。 ...

回答 1 投票 0

分析分布式系统

我想知道跟踪分布式系统中性能瓶颈的可能方法。我知道诸如X-Trace及其后代之类的工具(例如Dapper),但我对...

回答 2 投票 5

我应该更改原始的Python / Tensorflow代码以使其在HPC上更快地运行吗?

如果这个问题太基础,请原谅。我既不熟悉并行化的概念,也从未使用过HPC系统。我正在训练一个深度学习模型,这在我的PC上花费了很长时间。 ...

回答 2 投票 0

dask-ssh在hpc上失败:没有可用的身份验证方法

[当我尝试运行命令:dask-ssh sn010 sn179时,我得到以下信息:Dask.distributed v2.12.0 Worker节点:0:sn010 1:sn179调度程序节点:sn010:8786 [dask-ssh]:SSH ...

回答 1 投票 0

如何使用Slurm C API获取内存使用信息?

我正在寻找使用C API从Slurm获取每个作业的内存使用情况信息的方法,即使用的内存和保留的内存。我以为我可以通过调用slurm_load_jobs(...)获得此类统计信息,但是...

回答 1 投票 0

高性能Fortran(HPF),没有指令?

在高性能Fortran(HPF)中,我可以使用DISTRIBUTE指令指定并行计算中涉及的数组的分布。例如,以下最小子例程将求和...

回答 1 投票 2

Rattle不是以普通用户身份运行,而是以HPC群集中的root用户身份运行

以root用户身份运行时,Rattle打开/运行,以sudo权限作为普通用户运行时,抛出gtk2错误。谁能帮忙,因为我是拨浪鼓的新手。 secnario是HPC设置。在主服务器上...

回答 1 投票 1

在具有SLURM的HPC系统上使用GNU Parallel运行带有两个输入文件的python文件的多个实例

我尝试在HPC系统上并行运行单个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下,每个python文件都应在单个内核上运行。有24个核心...

回答 1 投票 0

在for循环中每x迭代有效打印一次

我正在编写一个程序,其中某个for循环要迭代很多次。一次迭代不会花很长时间,但是由于程序会如此频繁地迭代循环,因此需要花费相当多的时间...

回答 2 投票 0

如何学习HPC?

所以我想学习HPC,但找不到任何资源列表。当然,我们有“ Awesome HPC”,但最近一次更新是在3年前。我的主要问题是如何学习HPC。有哪些先决条件? ...

回答 1 投票 -1

使用MPI_Type_create_subarray发送时可以转置数组吗?

我正在尝试使用C中的MPI转置矩阵。每个进程都有一个正方形子矩阵,我想将其发送到正确的进程(网格上的“相反”一个),并将其作为的一部分转置。 ..

回答 2 投票 7

如何使用英特尔顾问来分析我的并行MPI应用程序?

我正在使用我的应用程序与MPI并行运行的远程Linux服务器上。我想对其进行分析,并测试每个MPI流程中的负载平衡情况如何,以及... ...>

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.