将数据加载到R中的最佳文件类型（速度）？

Question

我正在进行一些分析，得到的数据集介于2-3G之间。现在，我将其保存为.RData文件类型。然后，稍后我加载这些文件以继续工作，这需要花费一些时间来加载。我的问题是：将保存并加载这些文件，因为.csv速度更快。 data.table是读取.csv文件的最快软件包吗？我想我正在R中寻找最佳工作流程。

Answer 1

如果您正在寻找读取CSV的速度，则提到的vroom软件包是不错的选择。

。RData可能很慢，但是与CSV，TSV和其他方法不同，它具有可以保存any R数据类型的优点：不仅包括表格数据（通常是数据帧），而且还包括列表，函数，R6对象，等等。如果您只需要保存one数据帧，则RDS的写入（saveRDS）和加载（readRDS）的速度比.RData要快。

[您也可以看看Hadley Wickham和Wes McKinney开发的新的Feather数据格式。

警告对于Feather：

您不应该使用Feather做什么？

羽毛不适用于长期数据存储。目前，我们不保证文件格式在各个版本之间都是稳定的。相反，使用Feather可以在Python和R代码之间快速交换数据，或者作为某些分析的一部分用于数据帧的短期存储。

（（链接是2016年3月29日的公告...现在可能稳定了）

Answer 2

根据评论和我自己的一些研究，我制定了一个基准。

library(bench)

nr_of_rows <- 1e7
set.seed(1)
df <- data.frame(
  Logical = sample(c(TRUE, FALSE, NA), prob = c(0.85, 0.1, 0.05), nr_of_rows, replace = TRUE),
  Integer = sample(1L:100L, nr_of_rows, replace = TRUE),
  Real = sample(sample(1:10000, 20) / 100, nr_of_rows, replace = TRUE),
  Factor = as.factor(sample(labels(UScitiesD), nr_of_rows, replace = TRUE))
)

baseRDS <- function() {
  saveRDS(df, "dataset.Rds")
  readRDS("dataset.Rds")
}

baseRDS_nocompress <- function() {
  saveRDS(df, "dataset.Rds", compress = FALSE)
  readRDS("dataset.Rds")
}

baseRData <- function() {
  save(list = "df", file = "dataset.Rdata")
  load("dataset.Rdata")
  df
}

data.table <- function() {
  data.table::fwrite(df, "dataset.csv")
  data.table::fread("dataset.csv")
}

feather <- function(variables) {
  feather::write_feather(df, "dataset.feather")
  as.data.frame(feather::read_feather("dataset.feather"))
}

fst <- function() {
  fst::write.fst(df, "dataset.fst")
  fst::read.fst("dataset.fst")
}

fst <- function() {
  fst::write.fst(df, "dataset.fst")
  fst::read.fst("dataset.fst")
}

# only works on Unix systems
# fastSave <- function() {
#   fastSave::save.pigz(df, file = "dataset.RData", n.cores = 4)
#   fastSave::load.pigz("dataset.RData")
# }

results <- mark(
  baseRDS(),
  baseRDS_nocompress(),
  baseRData(),
  data.table(),
  feather(),
  fst(),
  check = FALSE
)

结果

summary(results)
# A tibble: 6 x 13
  expression                min   median `itr/sec` mem_alloc
  <bch:expr>           <bch:tm> <bch:tm>     <dbl> <bch:byt>
1 baseRDS()              15.74s   15.74s    0.0635     191MB
2 baseRDS_nocompress() 720.82ms 720.82ms    1.39       191MB
3 baseRData()            18.14s   18.14s    0.0551     191MB
4 data.table()            4.43s    4.43s    0.226      297MB
5 feather()            794.13ms 794.13ms    1.26       191MB
6 fst()                233.96ms 304.28ms    3.29       229MB
# ... with 8 more variables: `gc/sec` <dbl>, n_itr <int>,
#   n_gc <dbl>, total_time <bch:tm>, result <list>,
#   memory <list>, time <list>, gc <list>

> summary(results,  relative = TRUE)
# A tibble: 6 x 13
  expression             min median `itr/sec` mem_alloc
  <bch:expr>           <dbl>  <dbl>     <dbl>     <dbl>
1 baseRDS()            67.3   51.7       1.15      1.00
2 baseRDS_nocompress()  3.08   2.37     25.2       1.00
3 baseRData()          77.5   59.6       1         1.00
4 data.table()         18.9   14.5       4.10      1.56
5 feather()             3.39   2.61     22.8       1   
6 fst()                 1      1        59.6       1.20
# ... with 8 more variables: `gc/sec` <dbl>, n_itr <int>,
#   n_gc <dbl>, total_time <bch:tm>, result <list>,
#   memory <list>, time <list>, gc <list>

基于此，fst程序包是最快的。其次是带有选项compress = FALSE的第二个基数R。虽然这样会产生大文件。我不建议您在csv中保存任何内容，除非您想使用其他程序打开它。在这种情况下，data.table将是您的选择。否则，我会推荐saveRDS或fst。