根据我回答的问题:R or Python - loop the test data - Prediction validation next 24 hours (96 values each day)
我想使用H2o Package预测第二天。您可以在上面的链接中找到我的数据集的详细说明。
H2o中的数据维度是不同的。
因此,在进行预测之后,我想计算MAPE
我必须将训练和测试数据更改为H2o格式
train_h2o <- as.h2o(train_data)
test_h2o <- as.h2o(test_data)
mape_calc <- function(sub_df) {
pred <- predict.glm(glm_model, sub_df)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
# FINAL DATAFRAME
final_df <- do.call(rbind, df_list)
上部代码适用于提前一天的“非H2o”预测验证,它计算每天的MAPE。
我试图将H2o预测模型转换为正常格式,但根据:https://stackoverflow.com/a/39221269/9341589,它是不可能的。
要在H2O中进行预测:
例如,假设我们想要创建一个随机森林模型
y <- "RealPtot" #target
x <- names(train_h2o) %>% setdiff(y) #features
rforest.model <- h2o.randomForest(y=y, x=x, training_frame = train_h2o, ntrees = 2000, mtries = 3, max_depth = 4, seed = 1122)
然后我们可以得到完整数据集的预测,如下所示。
predict.rforest <- as.data.frame(h2o.predict(rforest.model, test_h2o)
但在我的情况下,我试图使用mape_calc获得一天的预测
注意:任何R或Python的想法将不胜感激。
UPDATE2(可重现的例子):**关注@Darren Cook步骤:
我提供了一个更简单的例子 - 波士顿住房数据集。
library(tidyverse)
library(h2o)
h2o.init(ip="localhost",port=54322,max_mem_size = "128g")
data(Boston, package = "MASS")
names(Boston)
[1] "crim" "zn" "indus" "chas" "nox" "rm" "age" "dis" "rad" "tax" "ptratio"
[12] "black" "lstat" "medv"
set.seed(4984)
#Added 15 minute Time and date interval
Boston$date<- seq(as.POSIXct("01-09-2017 03:00", format = "%d-%m-%Y %H:%M",tz=""), by = "15 min", length = 506)
#select first 333 values to be trained and the rest to be test data
train = Boston[1:333,]
test = Boston[334:506,]
#Dropped the date and time
train_data_finialized <- subset(train, select=-c(date))
test_data_finialized <- test
#Converted the dataset to h2o object.
train_h2o<- as.h2o(train_data_finialized)
#test_h2o<- as.h2o(test)
#Select the target and feature variables for h2o model
y <- "medv" #target
x <- names(train_data_finialized) %>% setdiff(y) #feature variables
# Number of CV folds (to generate level-one data for stacking)
nfolds <- 5
#Replaced RF model by GBM because GBM run faster
# Train & Cross-validate a GBM
my_gbm <- h2o.gbm(x = x,
y = y,
training_frame = train_h2o,
nfolds = nfolds,
fold_assignment = "Modulo",
keep_cross_validation_predictions = TRUE,
seed = 1)
mape_calc <- function(sub_df) {
p <- h2o.predict(my_gbm, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc)
final_df <- do.call(rbind, df_list)
这是我现在得到的错误:
.h2o.doSafeREST出错(h2oRestApiVersion = h2oRestApiVersion,urlSuffix = page,:
错误信息:
提供的列类型POSIXct未知。由于参数无效,无法继续解析。
H2O在与R的单独进程中运行(无论H2O是在本地服务器上还是在远程数据中心中)。 H2O数据和H2O模型保留在H2O过程中,R不能看到。
dH <- as.h2o(dR)
所做的是将R数据帧dR
复制到H2O的内存空间。然后dH
是描述H2O数据框架的R变量。即它是指针或手柄;它不是数据本身。
dR <- as.data.frame(dH)
所做的是将数据从H2O进程的内存复制到R进程的内存中。 (当dH描述单个列时,as.vector(dH)
也会这样做)
因此,假设mape_calc()
是R数据帧,修改sub_df
的最简单方法是更改前两行,如下所示:
mape_calc <- function(sub_df) {
p <- h2o.predict(rforest.model, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
即将sub_df
上传到H2O,并将其交给h2o.predict()
。然后使用as.vector()
下载所做的预测。
这与原始代码有关。所以请保留原始版本:
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
即不要直接在by()
上使用test_h2o
。
根据编辑的问题更新:
我对您的示例代码进行了两处更改。首先,我从sub_df
中删除了日期列。这就是导致错误消息的原因。
第二个变化只是为了简化返回类型;并不重要,但之前你的日期列重复了。
mape_calc <- function(sub_df) {
sub_df_minus_date <- subset(sub_df, select=-c(date))
p <- h2o.predict(my_gbm, as.h2o(sub_df_minus_date))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
data.frame(mape = mape)
}
ASIDE:h2o.predict()
在处理一批数据进行预测时效率最高。将h2o.predict()
放入循环中是一种代码气味。你最好在循环之外调用h2o.predict(rforest.model, test_h2o)
一次,然后将预测下载到R中,然后将cbind
下载到test_data,然后在组合数据上使用by
。
更新以下是您的示例更改为以这种方式工作:(我已将预测添加为测试数据的额外列;当然还有其他方法可以执行此操作)
test_h2o <- as.h2o(subset(test_data_finialized, select=-c(date)))
p <- h2o.predict(my_gbm, test_h2o)
test_data_finialized$pred = as.vector(p)
mape_calc2 <- function(sub_df) {
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - sub_df$pred)/actual))
data.frame(mape = mape)
}
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc2)
你应该注意到它运行得更快。
附加更新:by()
的工作原理是将第二个参数的相同值分组,然后将它们一起处理。由于您的所有时间戳都不同,因此您一次只能处理一行。
查看xts
库,例如apply.daily()
将时间戳分组。但是对于想要按日期处理的简单情况,有一个简单的黑客攻击。将您的by()
行更改为:
df_list <- by(test_data_finialized, as.Date(test_data_finialized$date), mape_calc2)
使用as.Date()
将剥夺时间。因此,同一天的所有行现在看起来都相同并一起处理。
ASIDE 2:如果你制造臭名昭着的minimal example,你会得到更好的回应。然后人们可以运行您的代码,他们可以测试他们的答案。使用每个人都有的简单数据集通常也更好。虹膜,而不是你自己的数据。 (您可以对前4个字段中的任何一个进行回归;使用虹膜不必总是关于预测物种。)
ASIDE 3:你可以完全在H2O中做MAPE,因为abs()
和mean()
函数可以直接在H2O数据框架上工作(就像其他很多东西一样 - 参见H2O手册):https://stackoverflow.com/a/43103229/841830(我不是把它标记为副本,你的问题是如何使by()
适用于H2O数据框,而不是如何有效地计算MAPE!)
看起来你正在混合R和H2O数据类型。请记住,H2O的R只是一个R API,与本机R不同。这意味着您不能将需要R数据帧的R函数应用于H2OFrame。同样,当您需要H2OFrame时,不能将H2O函数应用于R数据帧。
正如您在by
上的R文档中所看到的,它是一个期望“R对象,通常是数据帧,可能是矩阵”的函数,因此您无法传入H2O帧。
同样地,你将date = H2OFrame
传递给data.frame()
。
但是,您可以使用as.data.frame()
将H2OFrame转换为R数据帧,然后完全在R中进行计算。
可能只是文件格式是问题吗?从Excel导入并运行后,我收到“提供列类型POSIXct未知”:
hr_data_h2o <- as.h2o(hr_data)
split_h2o <- h2o.splitFrame(hr_data_h2o, c(0.7, 0.15), seed = 1234)
我将源文件更改为制表符分隔(没有其他更改),问题就消失了。