与 Cloud Composer 的 `apache-airflow-providers-microsoft-azure` 兼容的 PyPi 软件包版本

Question

我正在尝试将一些包加载到 Google Cloud Composer 2 的实例中。我不断遇到依赖项或包问题，并且无法获取可用的包的版本。

不断失败的

requirements.txt

文件看起来像

apache-airflow-providers-microsoft-azure == 8.3.0
apache-airflow-providers-google <= 10.11.1
numpy == 1.26.2
pandas == 2.1.3
datetime == 5.3

我发现我可以使用

将requirements.txt文件直接加载到cloud Composer环境中

gcloud composer environments update [ENVIROMENT] --location [LOCATION] --update-pypi-packages-from-file requirements.txt  --verbosity=debug

其中

[ENVIROMENT]

是云编辑器环境，

[LOCATION]

是位置。

Answer 1

在

Cloud Composer

环境中，

Google Cloud

的软件包已安装在机器中。

在您的

requirements.txt

文件中，您添加了以下包：

apache-airflow-providers-google <= 10.11.1

这个包已经存在于

Composer

中。

风险是该版本与

Composer

使用的版本之间存在冲突。

要查看

Composer

使用的版本，可以查看此链接Composer版本

对于每个 Composer 版本，您可以看到所有

Python

软件包及其安装在计算机中的版本。

composer-2.5.2-airflow-2.6.3

的版本示例

Cloud Composer

: