我正在尝试创建 awsgluespark 作业来训练其中一个数据集。我在1.3-1版本中使用xgboost算法。当我尝试运行估算器时,我遇到了问题
基础设施:awsglue 4.00 Spark shell
所有文件夹都是s3路径
代码片段。
xgb_script_mode_estimator = XGBoost(
entry_point="training.py",
hyperparameters=hyperparameters,
role=role,
instance_count=1,
instance_type=instance_type,
framework_version="1.3-1",
output_path="s3://{}/{}/{}/output".format(hyperparameters['bucket_nm'], '/output/', job_name),
错误:
FileNotFoundError:[Errno 2]没有这样的文件或目录:'training.py'
我将“glue script”和training.py放在与init.py文件相同的文件夹中的同一个作业桶中。
XGBoost 函数无法识别同一文件夹中的training.py(训练文件没有名称不匹配,包括大小写)
通过在 XGBboost 函数中添加“Source-dir”参数并指向 trianing.py 文件位置来解决此问题