在Datalab上安装tensorflow_transform和apache_beam

问题描述 投票:0回答:2

我将从google-cloud Coursera课程中查看这些示例,虽然它们在几周前工作,但我无法在Datalab上安装tf.transform或apache_beam。

https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/feateng/tftransform.ipynb

https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/deepdive/06_structured/4_preproc_tft.ipynb

安装tensorflow_transform时出现以下错误:

%bash
pip install --upgrade --force tensorflow_transform==0.6.0 

twisted 18.7.0需要PyHamcrest> = 1.9.0,未安装。 datalab 1.1.3有六个要求== 1.10.0,但你有六个1.11.0是不兼容的。 gapic-google-cloud-pubsub-v1 0.15.4要求oauth2client <4.0dev,> = 2.0.0,但你会有oauth2client 4.1.2这是不兼容的。 proto-google-cloud-pubsub-v1 0.15.4要求oauth2client <4.0dev,> = 2.0.0,但你将拥有不兼容的oauth2client 4.1.2。 apache-airflow 1.9.0有要求bleach == 2.1.2,但是你的漂白1.5.0是不兼容的。 apache-airflow 1.9.0有funcsigs == 1.0.0的要求,但是你的funcsigs 1.0.2是不兼容的。 google-cloud-monitoring 0.28.0要求google-cloud-core <0.29dev,> = 0.28.0,但是你的google-cloud-core 0.25.0是不兼容的。 proto-google-cloud-datastore-v1 0.90.4要求oauth2client <4.0dev,> = 2.0.0,但是你将拥有不兼容的oauth2client 4.1.2。 pandas-gbq 0.3.0要求google-cloud-bigquery> = 0.28.0,但你会有google-cloud-bigquery 0.25.0这是不兼容的。 googledatastore 7.0.1要求httplib2 <0.10,> = 0.9.1,但你的httplib2 0.11.3是不兼容的。 googledatastore 7.0.1要求oauth2client <4.0.0,> = 2.0.1,但是你将拥有不兼容的oauth2client 4.1.2。无法卸载'莳萝'。它是一个distutils安装的项目,因此我们无法准确确定哪些文件属于它,这将导致仅部分卸载。

tensorflow google-cloud-platform apache-beam google-cloud-datalab tensorflow-transform
2个回答
2
投票

我的Datalab实例上的tensorflow版本是1.4。我不得不添加这一行代码来将tensorflow更新为1.10.1

%bash
pip install --upgrade --force-reinstall pip==10.0.1
pip install tensorflow==1.10.1
pip install tensorflow_transform

我的环境:

apache-airflow==1.9.0
apache-beam==2.6.0
tensorflow==1.10.1
tensorflow-metadata==0.9.0
tensorflow-tensorboard==0.4.0rc3
tensorflow-transform==0.8.0

1
投票

Datalab的当前版本使用TensorFlow 1.8,因此请将有问题的笔记本单元更改为:

%bash
pip uninstall -y google-cloud-dataflow
pip install --upgrade --force tensorflow_transform==0.8.0 apache-beam[gcp]

我已经更新并检查了上面链接的两个笔记本。

另一个问题可能是你正在使用Python 2.默认情况下,Datalab现在使用Python 3,你的pip install(上面)发生在Python 3中,即使内核是Python 2,因为%% bash打开了一个新的shell,其中conda激活Python 2没有发生过。

要确保pip安装在Python 2中发生,请更改apache-beam [gcp]的pip安装,如下所示:

%%bash
source activate py2env
conda install -y dill pytz  # do this for all the distutils complaints 
pip uninstall -y google-cloud-dataflow
pip install --upgrade --force tensorflow_transform==0.8.0 apache-beam[gcp]
© www.soinside.com 2019 - 2024. All rights reserved.