我有一个Hive表,其中包含一个时间戳记字段,并且可以具有任何时区..(UTC / PST / CST ....)我想将所有这些转换为单个时间戳EST。它可以在Hive或Pyspark中完成。基本上,我在pyspark应用程序中使用它,该应用程序在此datetime字段上具有分组逻辑,在此之前,我们希望将Hive表中的所有时间都转换为EST时间。
Sid
Sidd,通常,Hive使用写入数据的主机的本地时区。函数from_utc_timestamp()和to_utc_timestamp对我们很有帮助。在这种情况下,您应该使用位置/区域而不是将时区表示为UTC / EST,因为这样可以节省日光。
这是更多示例的有用链接:Local Time Convert To UTC Time In Hive
如果您还有其他疑问,请分享您已经尝试过的内容,并分享示例数据片段以进行进一步调查。