通过gcloud dataproc读取张量文件

Question

你好，我应该如何修改我的代码以正确读取dataset2？

 %%writefile read_rdd.py 
def read_RDD(argv):
  parser = argparse.ArgumentParser() # get a parser object
  parser.add_argument('--test_set', metavar='test_set', type =ParallelMapDataset) 
  args = parser.parse_args(argv) # read the value
  args.test_set.take(3) 
  for i in args.test_set:
    print(i)               

并执行

test_set = dataset2     #dataset2 cannot be inserted
!gcloud dataproc jobs submit pyspark --cluster $CLUSTER --region $REGION \
    ./read_rdd.py \
    --  --test_set $test_set 

                                                                                                                                  aditional information                                                                                             

type（dataset2）= tensorflow.python.data.ops.dataset_ops

我试图将类型= ParallelMapDataset更改为type = argparse.FileType（'r'），但它也无法正常工作

目前我无法提交工作我被感染了

/ bin / bash：-c：第0行：意外令牌附近的语法错误

('
/bin/bash: -c: line 0:

gcloud dataproc作业提交pyspark --cluster bigdatapart2-cluster --region us-central1 ./read_rdd.py---test_set'] >

你好，我应该如何修改我的代码以正确读取dataset2？ %% writefile read_rdd.py def read_RDD（argv）：解析器= argparse.ArgumentParser（）＃获取解析器对象parser.add_argument（'--...

Answer 1