为spark作业设置hbase参数

Question

有没有办法将hbase.rpc.timeout传递给一个通过shell脚本调用的spark作业。我知道我们可以在自己的spark作业中创建HBaseConfiguration时设置hbase.rpc.timeout值。但我想从shell传递值。

就像是 ：

 ${SPARK_SUBMIT} 
    --class mySpark \
    --num-executors ${NUM_EXECUTORS} \
    --master yarn-cluster \
    --deploy-mode cluster \
    --hbase.rpc.timeout 600000 . \
    ${SPARK_JAR} "${START_TIME}" "${END_TIME}" "${OUTPUT_PATH}" 2>&1 | tee -a ${logPath}

Answer 1

有两种方法

1. 将qazxsw poi视为应用论点。并在你的qazxsw poi中处理它
2. 喜欢你想要的hbase.rpc.timeout 600000。然后SPARK_JAR