如何在R和Postgres DBMS之间传递POSIXct对象时正确处理时区？

Question

我正在努力了解在使用POSIXct在R和Postgres之间传递RPostgreSQL对象时幕后发生了什么。在下面的示例中，我定义了两个时间戳字段：一个带有时区，另一个带有时区。然而，当通过POSIXct和dbWriteTable传递dbReadTable对象时，它们看起来完全相同。

library(RPostgreSQL)

drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv, host = "127.0.0.1", port = "5432", user= "postgres",
                 dbname = "test_db")

q <- "
CREATE TABLE test_table
(
  dttm timestamp without time zone,
  dttmtz timestamp with time zone
)"
dbSendQuery(con, q)

# using timezone CET
dttm <- as.POSIXct("2016-01-01 10:20:10", tz="CET")
df <- data.frame(dttm = dttm, dttmtz = dttm)
dbWriteTable(con, "test_table", df, overwrite=FALSE, append=T, row.names=0)

# using timezone UTC    
dttm <- as.POSIXct("2016-01-01 14:20:10", tz="UTC")
df <- data.frame(dttm = dttm, dttmtz = dttm)
dbWriteTable(con, "test_table", df, overwrite=FALSE, append=T, row.names=0)

df2 <- dbReadTable(con, "test_table")

这两个领域完全相同。似乎时区被完全丢弃了。

df2$dttm
[1] "2016-01-01 10:20:10 CET" "2016-01-01 14:20:10 CET"

df2$dttmtz
"2016-01-01 10:20:10 CET" "2016-01-01 14:20:10 CET"

问题：

1. 幕后究竟发生了什么？
2. 如何才能正确地来回传递POSIXct的时区？

Answer 1

我想你已经在RPostgreSQL中指出了一个错误：它似乎没有从R中为POSIXct对象获取时区。通过将时间戳格式化为与UTC偏移的字符，可以将时区信息正确传递给PostgreSQL（请参阅本答案底部的示例;添加2018-09-21）。但首先，这是一个明显的bug的例子：

修改你的代码：

library(RPostgreSQL)

drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv,  port = "5432", user= "postgres",
                 dbname = "test")

# timestamps in three different time zones
dt1 <- as.POSIXct("2016-01-01 10:20:10", tz="US/Eastern")
dt2 <- as.POSIXct("2016-01-01 10:20:10", tz="UTC")
dt3 <- as.POSIXct("2016-01-01 10:20:10", tz="Asia/Tokyo")
df <- data.frame(dt1=dt1, dt2=dt2, dt3=dt3)

q <- "
CREATE TABLE test_table
(
  dt1 timestamp with time zone,
  dt2 timestamp with time zone,
  dt3 timestamp with time zone,
  PRIMARY KEY (dt1)
)"
dbSendQuery(con, q)

dbWriteTable(con, "test_table", df, overwrite=FALSE, append=T, row.names=0)

df2 <- dbReadTable(con, "test_table")

请注意，所有三个时间戳都是相同的时区未正确处理

df2$dt1

“2016-01-01 10:20:10 EST”

df2$dt2

“2016-01-01 10:20:10 EST”

df2$dt3

“2016-01-01 10:20:10 EST”

在postgres中也是如此 - 正如pgadmin在这里看到的

这表明postgres没有从R获得时区

请注意，如果我们手动更改test_table中的一个时区（例如，pgadmin中的第一个记录）

例如，

并获取

df2 <- dbReadTable(con, "test_table")

然后正确处理时区

df2$dt1

“2016-01-01 05:20:10 EST”

df2$dt2

“2016-01-01 10:20:10 EST”

df2$dt3

“2016-01-01 10:20:10 EST”

所以这表明PostgreSQL没有正确地为postgres分配时区信息，但RPostgreSQL正确地从postgres获取时区信息。

---

answer to the original question

要使用RPostgreSQL将带时区的时间戳从R传递到Postgres，只需将其格式化为具有UTC偏移量的字符串（例如，“2016-01-01 10：20：10-0500”;例如，使用format然后传递它与Postgres一样，与上述相同。

Ef。：

#convert POSIXct to character with offset from UTC
df$dt1 <- format(df$dt1, format = "%Y-%m-%d %H:%M:%OS%z")
df$dt2 <- format(df$dt2, format = "%Y-%m-%d %H:%M:%OS%z")
df$dt3 <- format(df$dt3, format = "%Y-%m-%d %H:%M:%OS%z")

##> df
##                       dt1                      dt2                      dt3
##1 2016-01-01 10:20:10-0500 2016-01-01 10:20:10+0000 2016-01-01 10:20:10+0900

q <- "
CREATE TABLE test_table2
(
  dt1 timestamp with time zone,
  dt2 timestamp with time zone,
  dt3 timestamp with time zone,
  PRIMARY KEY (dt1)
)"
dbSendQuery(con, q)

dbWriteTable(con, "test_table2", df, overwrite=FALSE, append=T, row.names=0)

df3 <- dbReadTable(con, "test_table2")

#Note that times are now correct (in local time zone)
##> df3$dt1
##[1] "2016-01-01 10:20:10 EST"
##> df3$dt2
##[1] "2016-01-01 05:20:10 EST"
##> df3$dt3
##[1] "2015-12-31 20:20:10 EST"

Answer 2

首先，让我说我不是R处理这种方式的粉丝。我们以UTC的时间值：

dttm.utc <- as.POSIXct("2016-01-01 10:20:10", tz="UTC")
dttm.utc
[1] "2016-01-01 10:20:10 UTC"

现在我们可以相对容易地将它转换为CET时区：

dttm.cet <- format( dttm.utc, tz = "CET", usetz = T )
dttm.cet
[1] "2016-01-01 11:20:10 CET"

但是检查一下，每个值都是不同的类。第一个是POSIX格式，但第二个已经被character函数转换为format类。

class( dttm.utc )
[1] "POSIXct" "POSIXt" 

class( dttm.cet )
[1] "character"

这并不好，因为这意味着我们不能再向另一个方向再次进行相同的转换，我们首先需要先将后一个值转换为POSIX类，要非常小心，不要让R与时区混在一起：

dttm.cet <- as.POSIXct( dttm.cet, tz = "CET" )
dttm.cet
[1] "2016-01-01 11:20:10 CET"

class( dttm.cet )
[1] "POSIXct" "POSIXt" 

现在我们可以转换它：

format( dttm.cet, tz = "UTC", usetz = TRUE )
[1] "2016-01-01 10:20:10 UTC"

但这让我们回到了character班。很烦人。这是一个解决方法。将两步转换构建为一个函数，并从现在开始使用它。

convert.tz <- function( x, tz ) {
    new <- format( x, tz = tz, usetz = T )
    return( as.POSIXct( new, tz = tz ) )
}

尝试一下：

dttm.utc <- as.POSIXct("2016-01-01 10:20:10", tz="UTC")
dttm.utc
[1] "2016-01-01 10:20:10 UTC"

dttm.cet <- convert.tz( dttm.utc, "CET" )
dttm.cet
[1] "2016-01-01 11:20:10 CET"

class( dttm.utc )
[1] "POSIXct" "POSIXt" 

class( dttm.cet )
[1] "POSIXct" "POSIXt" 

所以现在转换不会改变格式，这意味着我们可以在转换中使用任何一种方式，而无需更改方法：

convert.tz( dttm.cet, "UTC" )
[1] "2016-01-01 10:20:10 UTC"

唉唉。好多了。

当然，您可以坚持使用基础R，并在每次转换时执行此操作。

dttm.cet <- as.POSIXct( format( dttm.utc, tz = "CET", usetz = T ), tz = "CET" )

但就个人而言，我更喜欢这个功能。