r,write_csv正在将所有时间/日期更改为UTC

问题描述 投票:1回答:2

我发现了一个非常烦人的问题,我想与社区分享。这个问题我已经找到了一个可接受的解决方案(详见下文),但我现在有几个后续问题。我对时间戳和POSIX变量的了解是有限的,特别是plyr,dplyr和readr如何处理它们。

使用POSIX变量(又名日期和时间戳)时,我发现readr的write_csv将这些变量更改为UTC时间。

我正在从API下载数据并保留时间戳。每次我抓取数据时,我都会将其绑定到现有文件并保存文件。我的时区是MDT,我使用MDT时间请求数据,然后我试图在UTC时间绑定到文件,时间不匹配......它变得混乱和令人沮丧。本质上,我试图创建的美丽时间戳数据库变成了一堆垃圾。

为了解决这个问题,我使用以下方法将POSIX时间列转换为字符列:

df.time <- as.character(df.time)

这允许我将文件保存在与API返回给我的时间戳一致的时区中。

这引出了以下一系列问题:

  1. 是否有可以跨时区加入POSIX变量的程序?例如,如果它是正午MDT,那么它是UTC时间下午6点。我可以根据这些时间戳加入两个数据帧,而不必先将它们转换为相同的时区吗?
  2. 是否可以阻止write_csv将POSIX变量更改为UTC?
  3. 是否有一个不改变POSIX变量的csv写函数?

编辑:我已经包含了一些我正在谈论的示例数据:

> df1 <- as.data.frame(fromJSON("https://api.pro.coinbase.com/products/BTC-USD/candles?start=2018-07-23&12:57:00?stop=2018-07-23&19:34:58granularity=300"))
> colnames(df1) <- c("time", "low", "high", "open", "close", "volume")
> df1$time <- anytime(df1$time)
> df1Sort <- df1[order(df1$time),]
> head(df1Sort, 5)
                   time     low    high    open   close    volume
299 2018-07-23 16:13:00 7747.00 7747.01 7747.01 7747.01 9.2029168
298 2018-07-23 16:14:00 7743.17 7747.01 7747.00 7747.01 7.0205668
297 2018-07-23 16:15:00 7745.47 7745.73 7745.67 7745.73 0.9075707
296 2018-07-23 16:16:00 7745.72 7745.73 7745.72 7745.73 4.6715157
295 2018-07-23 16:17:00 7745.72 7745.73 7745.72 7745.72 2.4921921
> write_csv(df1Sort, "df1Sort.csv", col_names = TRUE)
> df2 <- read_csv("df1Sort.csv", col_names = TRUE)
Parsed with column specification:
cols(
  time = col_datetime(format = ""),
  low = col_double(),
  high = col_double(),
  open = col_double(),
  close = col_double(),
  volume = col_double()
)
> head(df2, 5)
# A tibble: 5 x 6
  time                  low  high  open close volume
  <dttm>              <dbl> <dbl> <dbl> <dbl>  <dbl>
1 2018-07-23 22:13:00  7747  7747  7747  7747  9.20 
2 2018-07-23 22:14:00  7743  7747  7747  7747  7.02 
3 2018-07-23 22:15:00  7745  7746  7746  7746  0.908
4 2018-07-23 22:16:00  7746  7746  7746  7746  4.67 
5 2018-07-23 22:17:00  7746  7746  7746  7746  2.49 
r posixct readr
2个回答
0
投票
  1. “是否有一个程序可以跨时区加入POSIX变量......而不必先将它们转换为相同的时区?” 也许?但如果是这样的话,他们几乎肯定只是在引擎盖下转换为UTC而只是将它隐藏起来。我不知道R中有这样的东西。(data.table是我唯一知道的可以加入除了完全相等之外的任何东西,它没有这个功能。)如果我是你,我' d只需将所有内容转换为一个时区 - 可能是UTC。 有关最佳实践的更多阅读this SQL-focused answer seems very good.
  2. “是否有可能阻止write_csv将POSIX变量更改为UTC?” 不是内置的。 ?write_csv文档很清楚:它没有列出任何选项,并且说“POSIXct的格式为ISO8601”。
  3. “有没有改变POSIX变量的csv写函数?” 当然,内置的write.csv不会改为UTC(我认为它使用系统设置),而data.table::fwrite提供了不少选项。如果你想控制日期的保存方式,我认为你最好的选择是以你想要的任何格式将它们转换为character,然后任何写作函数都应该处理它们。你应该查看?data.table::fwrite文档,它有很好的信息。他们警告说,"write.csv"选项可能会很慢。

您应该在问题中包含可重复的示例。这是一个这样的:

t = as.POSIXct("2018-01-01 01:30:00", tz = "Africa/Addis_Ababa")
t
# [1] "2018-01-01 01:30:00 EAT"

d = data.frame(t)

library(readr)
write_csv(d, "tz_test.csv")
system("head tz_test.csv")
# 2017-12-31T22:30:00Z

library(data.table)
fwrite(d, "tz_test_dt.csv", dateTimeAs = "write.csv")
system("head tz_test_dt.csv")
# t
# 2018-01-01 01:30:00

write.csv(d, "tz_test_base.csv")
system("head tz_test_base.csv")
# "","t"
# "1",2018-01-01 01:30:00

1
投票

看起来你正在使用来自tidyverse的库;你看过这个有问题的图书馆吗?

as_date()的帮助文件可以帮助您在追加/加入数据之前将日期时间变量转换为所需的时区。

例如:

> dt_utc <- ymd_hms("2010-08-03 00:50:50")
> dt_utc
[1] "2010-08-03 00:50:50 UTC"

> as_datetime(dt_utc, tz = "Australia/Melbourne")
[1] "2010-08-03 10:50:50 AEST"
© www.soinside.com 2019 - 2024. All rights reserved.