joblib 相关问题

Joblib是一组用于在Python中提供轻量级流水线的工具。

使用 joblib 和 skimage 进行多进程:PicklingError:无法腌制任务以将其发送给工作人员

我正在尝试并行化通过栅格成本表面查找最小成本路径的任务,但我不断遇到相同的 PicklingError:无法腌制任务以将其发送给工作人员。 ...

回答 1 投票 0

joblib.load 和 pickle.load 错误“没有属性‘XGBoostLabelEncoder’”

我正在尝试使用 joblib 和 pickle 加载 XBGClassifier 模型。 使用 joblib load_model = joblib.load('trained_model.sav') 时出现以下错误: AttributeError: module 'xgboost.c...

回答 2 投票 0

如何在Python joblib中写入共享变量

以下代码并行化了一个for循环。 将网络x导入为nx; 将 numpy 导入为 np; from joblib import 并行,延迟; 导入多重处理; def core_func(repeat_index, G, numpy_arrary_2D...

回答 3 投票 0

将类移入模块并从 joblib 加载实例

我在名为diseaseTree.py 的文件中定义了一个名为DiseaseTree 的类。我已经使用这个类有一段时间了。在不同的工作流程中,我生成了此类的实例,并写入

回答 1 投票 0

通过密集数组转换步骤加载管道

我使用 joblib 训练并保存了以下模型: def to_dense(x): 返回 np.asarray(x.todense()) to_dense_array = FunctionTransformer(to_dense,accept_sparse = True) 模型 = make_pipeline(...

回答 1 投票 0

运行 sklearn GridSearchCV 时无法将任务发送给工作人员

我正在使用 GridSearchCV 使用以下代码在不同模型上运行 GridSearchCV: def Algorithm_Pipeline(X_train_data, X_test_data, y_train_data, y_test_data, 型号,

回答 1 投票 0

Pandas-Profiling 与 scikit-learn 冲突

当我尝试在我的 jupyter 笔记本中安装 pandas 分析时,我遇到错误: 错误:pip 的依赖解析器当前未考虑所有 已安装的软件包...

回答 1 投票 0

Joblib并行处理在profiling中引入了{内置方法time.sleep}

我正在使用 Joblib 在我的 Python 应用程序中运行并行作业。在分析过程中,我注意到最慢的进程是{内置方法 time.sleep}。有趣的是,当我...

回答 1 投票 0

在 Python 中使用 joblib 并行执行时抑制警告

我正在使用一个生成警告的函数,我真的不需要阅读。问题是我想并行运行该函数,并且这样做时,似乎我无法抑制警告...

回答 2 投票 0

如何为 n_jobs 产生的 scikit-learn 并行进程设置较低的优先级?

当使用 n_jobs 参数并行化 scikit-learn 例程(如 GridSeachCV)时,有没有办法将并行进程设置为低于正常优先级? 通常我想采取最大

回答 1 投票 0

为什么我的 joblib.Parallel 子进程在使用 Loky 后端时永远不会返回到主循环

我正在使用 joblib.Parallel 使用 loky 后端运行任务。 有时,子进程会挂起,并且在完成所有任务后,控制权永远不会返回到主循环。 我在 loggi 看到这个...

回答 1 投票 0

从已完成的多处理任务中检索结果

我需要运行数十个计算密集型 CPU 密集型并行任务。目前我使用 joblib 延迟和并行来执行此操作: resultTuples = 并行(n_jobs=-1,更喜欢=“进程”)(del...

回答 1 投票 0

在多核上从 scikit-learn 运行 LinearRegression() 时出现问题

我想在 5 个核心上运行 sklearn 库中的 LinearRegression()。正如文档所说,除非 n_targets > 1,否则 n_jobs 参数不会导致多重处理,我创建了随机数据...

回答 1 投票 0

如何存储 TfidfVectorizer 以供将来在 scikit-learn 中使用?

我有一个 TfidfVectorizer,它可以对文章集合进行矢量化,然后进行特征选择。 向量化器 = TfidfVectorizer() X_train = vectorizer.fit_transform(语料库) 选择器 = SelectKBest(chi2,...

回答 3 投票 0

使用 joblib 将文件写入一个文件夹

我有一个执行长时间运行然后将结果文件写入输出文件夹的函数。我决定使用 Joblib 中的并行和延迟来并行化该函数。也就是说,每个线程...

回答 1 投票 0

如何从 Google Cloud Storage 存储桶加载保存在 joblib 文件中的模型

我想加载一个从 Google Cloud Storage 存储桶保存为 joblib 文件的模型。当它在本地路径时,我们可以按如下方式加载它(考虑model_file是系统中的完整路径):

回答 6 投票 0

django 部署中 / 118 出现 KeyError

我已经为我的存储库创建了一个工作流程,一切甚至部署都进展顺利,我已经在与 docker 相同的环境中创建了模型,并且工作流程正在运行,但我仍然

回答 1 投票 0

从Python3.10升级到python3.11后Joblib出错

从python3.10更新到python3.11后,一个简单的命令如下: joblib.load("test.pkl") 因错误而失败 类型错误:“NoneType...”实例之间不支持“>”...

回答 1 投票 0

joblib:无法从父目录的另一个子文件夹加载转储的模型

我训练了一个小模型并使用joblib来保存它。 但我在尝试加载它时遇到错误。 这是我的目录结构: 加载器.py 包裹 模型文件夹 __init__.py 我...

回答 1 投票 0

使用 picke/joblib 保存随机森林分类器 (sklearn) 会创建巨大的文件

我正在尝试保存一堆经过训练的随机森林分类器,以便以后重用它们。为此,我尝试使用 pickle 或 joblib。我遇到的问题是,保存的文件变得......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.