Apache Flink:如何得出内存限制值? [已关闭]

问题描述 投票:0回答:1

我对 Apache Flink 完全陌生。我有这个values.yaml 文件,其中包含任务管理器和作业管理器的配置。我正在尝试使用进程大小、堆大小、开销等其他属性来导出 jobmanager 和 taskmanager 的

memory.limit
属性值。但是我在 Flink 官方文档here中没有看到太多相关内容。在 here 中,它有 Flink 的内存使用详细信息。

我想知道什么是

memory.limit
属性以及它的使用方式以及我可以在哪些可能的值中导出该值而不是对其进行硬编码。任何对此属性的引用都会有所帮助。预先感谢!

这是配置的一部分,包括任务管理器和作业的配置:

  ports:
    rpc: 6123
    blobServer: 6124
    webui: 8081
    protectedWebUI: 8080
  livenessProbe:
    tcpSocket:
      port: 6123
    initialDelaySeconds: 90
    periodSeconds: 60
  readinessProbe:
    tcpSocket:
      port: 6123
    initialDelaySeconds: 5
    periodSeconds: 60
  memory: # in Mb
    processSize: 1024
    limit: 1024
    jvmOverheadMin: 64
    jvmOverheadMax: 512
    heapSize: 512
  replicas: 1
  cpu: 1
  #Should be overrided on values.yaml or by parameters to the corresponding class from your job
  jobId: ~
  className: ~

taskmanager:
  ports:
    rpc: 6122
    queryState: 6125
  replicaCount: 2
  taskSlots: 1
  parallelismDefault: 10
  livenessProbe:
    initialDelaySeconds: 30
    periodSeconds: 60
  memory: # in Mb
    processSize: 32768
    limit: 16384
    heapSize: 8192
    offheapSize: 4096
    jvmOverheadMin: 512
    jvmOverheadMax: 11264    
    flinkSize: 21672  
  replicas: 1
  cpu: 1
  autoscaling:
    enabled: false
    # metric: cpu
    # target: 40
    # min: 1
    # max: 1
    # scaleUpPolicies:
      # pods: 4
      # periodSeconds: 30

# either LOAD_FROM_LAST_SAVEPOINT or NO_SAVEPOINT
savepoint: NO_SAVEPOINT
env: ~
flinkService: nexus-flink
local: false # override to true for local env cluster. in order to create role and role binding for the default account
serviceAccount:
  # false to use default account, if true will create an account with releaseName as name by default or the name specified
  create: false
  name: "" # empty means default
ingress:
  ports:
    http: 80
apache-flink
1个回答
0
投票

memory.limit
是 Kubernetes 容器内存限制。这不是 Flink 配置选项。

© www.soinside.com 2019 - 2024. All rights reserved.