Pinot：可读日期时间格式的架构

Question

我正在将卡夫卡的实时数据消耗到皮诺中。数据的日期时间格式如下：

“2022 年 3 月 14 日星期一 15:58:24 IST”

我正在努力在模式文件中写入“dateTimeFieldSpecs”。 你能帮我一下吗？

谢谢，

苏库玛尔

Answer 1

您可以使用转换函数来为您做到这一点。

首先将该列添加到您的常规

schema.json

中。之后，在表格设置中添加一个转换函数，通常是

table.json

。该函数接受原始列并将其重新格式化为 Pinot 的类型。

但请记住，可能有必要检查服务器与本地时区，尤其是在实时表中。

查看这些文档

希望这有帮助！

Answer 2

至少配置下面有两个选项对应于格式中的字段

yyyy-MM-ddTHH:mm:ss.SSSZ

：

1. 您可以将此字段定义为维度一：

    {
        "name": "Date1",
        "dataType": "TIMESTAMP"
    }
]

2. 将字段定义为日期时间：

"dateTimeFieldSpec": [
        {
            "name": "DateFeild",
            "dataType": "TIMESTAMP",
            "format": "1:MILLISECONDS:EPOCH",
            "granularity": "1:DAYS"
        }
    ]

将转换功能添加到表配置中：

"transformConfig": [
    {
        "columnName": "DateFeild",
        "transformFunction": "FromDateTime(\"Date1\", 'yyyy-MM-dd''T''HH:mm:ss.SSS''Z')"
    }
]