为 Kafa 主题设置 Secor 的步骤

Question

我对 Pinterest Secor 非常陌生，我正在尝试将其设置为我当地的 Kafka 主题。我尝试阅读 GitHub 官方文档，但它没有解释要遵循的完整步骤以及应该修改配置文件中的哪些字段以及它们的含义。如果有人可以引导我找到有用的链接，那就太好了。

Answer 1

这里是根据 Secor 官方文档设置 Secor 的链接。 二级文档链接

一些主要步骤是：-

• 1.创建一个Java类来定义您的分区。这些分区 是您想要的 S3 或 Azure 路径/文件夹结构 上传您的数据。
  2. 在配置文件中 -> https://github.com/pinterest/secor/blob/master/src/main/config/secor.prod.partition.properties 将班级名称更新为您的班级名称
  3. 在属性secor.kafka.group中设置kafka组名称
  4. 设置在上传到 S3/Azure-blob 之前临时保存安全数据的目录。更新这个 属性 ->scor.local.path
  5. 更新 S3 位置的基本路径。更新此属性 -> secor.s3.path
  6. 从要消费数据的位置设置kafka主机 -> kafka.seed.broker.host
  7. 设置管理你的kafka的zookeeper IP和端口 -> Zookeeper.quorum
  8. 设置文件上传到 s3 后的时间 -> secor.max.file.age.seconds

Answer 2

安全在本地目录中保留数据多长时间。 “secor.local.path” 有没有办法保留这个目录？