关于更新apach-beam-dataflow和google-cloud-bigquery的准则

Question

我想使用最新的google-cloud-bigquery和dataflow sdk适用于python 2.7

旧版本和新版本的客户bigquery代码已发生了巨大变化而旧版本则计划弃用。根据以下出版物：https://cloud.google.com/bigquery/docs/python-client-migration

我的管道设置如下：

*from setuptools import setup, find_packages*
*setup(*
*  name='big-query',*
*  version='1.0.0',*
*  packages=find_packages(),*
*  keywords=[*
*  ],*
*  license="Apache Software License",*
*  install_requires=[*
*    'google-cloud-bigquery==0.28.0',*
*  ],*
*  package_data={*
*  },*
*  data_files=[],*
*)*

我从管道代码中称呼它：

options.view_as(SetupOptions).setup_file = "./setup.py"

环境：数据流视图上的SDK版本显示2.0.0，并且已弃用信息该管道是用Python 2.7.0在Google Cloud datalab环境中编写的更新google-cloud-bigquery的安装失败

我的问题是：1.如何更新数据流SDK？ setup.py文件？更新数据实验室？2.我可以使用什么最新版本的google-cloud-bigquery和其匹配的数据流。

谢谢，eilalan

Answer 1

1. 我如何更新数据流SDK？ setup.py文件？更新数据实验室？

Dataflow SDK现在已被弃用，但是您可以安装Apache Beam SDK，因为Dataflow和2.0.0之后的以前的Apache Beam SDK完全支持它。这是这方面的Google官方公告：

Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.

可以通过pip升级Dataflow SDK：
pip install --upgrade apache-beam[gcp]

只要需要为您的环境指定版本，就可以检查setup.py语法。 
我可以使用什么最新版本的google-cloud-bigquery及其匹配的数据流。

某些库不向前兼容，您可以使用these SDK vs工作者依赖关系兼容性列表作为参考。