Google Cloud Dataflow是一种完全托管的云服务，可用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。 Cloud Dataflow是Google云端平台的一部分。
如何在Apache beam中实现Pandas？我无法在多列上执行左连接，而Pcollections不支持sql查询。甚至Apache Beam文档都没有正确构图。我检查了 ...
Apache Beam Dataflow作业在本地执行什么操作？
我遇到了Apache Beam Python SDK定义的Dataflow的一些问题。如果我单步执行我的代码，它会到达pipeline.run（）步骤，我认为这意味着执行图表已成功...
我们正在运行一个使用Kafka的Dataflow工作流程，并使用apache beam AvroIO write API将snappy avro文件写入gcs。我们最多配置了13名工人，应该处理50k ...
我有两个bigquery表。表A c_id count_c_id p_id表B id c_name p_type c_id基于表A中的列，我需要使用DF管道从表B中查找详细信息。 PCollection＆...
从Google Cloud Dataflow输出排序的文本文件
我有一个PCollection 在Google Cloud DataFlow中，我通过TextIO.Write.to将其输出到文本文件：PCollection lines = ...; lines.apply（TextIO.Write.to（“GS：//桶/ ...
TextIO.read（）。watchForNewFiles（）阻止写入BigQuery
我正在尝试创建一个管道，等待GCS文件夹中的新csv文件来处理它们并将输出写入BigQuery。我编写了以下代码：public static void main（String [] args）{...
数据流：我可以使用批处理作业连续写/流写入BigQuery吗？
我似乎无法找到任何关于此的文档。我有一个apache-beam管道，它接收一些信息，将其格式化为TableRows，然后写入BigQuery。 [+]问题：行是......
TableRow.get上的Google Cloud Dataflow，BigQueryIO和NullPointerException
我是GC Dataflow的新手，并没有找到相关的答案。如果我发现这已经得到回答，请道歉。我正在尝试使用v2.0 SDK创建一个简单的管道，但我遇到了麻烦......
我设法通过JDBCIO DataSourceConfiguration.create连接到云sql（“com.mysql.jdbc.Driver”，“jdbc：mysql：// google /？cloudSqlInstance = ::＆socketFactory = com.google.cloud.sql.mysql .. ..
输出具有空值的TableRow时出现NullPointerException
我正在尝试构建一个TableRow对象，最终将其写入BigQuery表，但如果我在行中包含空值，则会出现NullPointerException。这是完整的堆栈跟踪：例外...
应用此示例或此示例来构建我的程序，每次我尝试插入Big Query时，都会出现此错误：OverflowError：日期值超出范围[运行'Format'时] My Beam Pipeline是这样的：...
我正在尝试通过PipelineOptions.setUserAgent自定义用于不同GCP调用的用户代理。但是，似乎总是回到Apache_Beam_SDK_for_Java / 2.6.0。看着......
动态工作重新平衡将最佳地将工作分配给工作人员，其中融合将使执行图崩溃，从而图表将更小，意味着更少的工作人员参与。动态工作如何......
DirectRunner不会按照我在Beam Java SDK中使用FixedWindows指定的方式读取Pub / Sub
我目前正在开发一个Dataflow管道，它使用Apache Beam Java SDK 2.8.0从Pub / Sub读取流数据。该管道只是Google的PubsubToText.java模板。 https：//开头的github ....
是否可以在两个PCollections的apache梁上进行拉链操作？
我有一个PCollection [str]，我想生成随机对。来自Apache Spark，我的策略是：复制原始PCollection随机随机播放它与原始PCollection拉链...