我有一个用例，我需要将70 TB的数据从DynamoDB迁移到BigTable和Spanner。具有单个索引的表将进入BigTable，否则将进入Spanner。
我可以通过将数据导出到S3-> GCS-> Spanner / BigTable轻松处理历史负载。但是具有挑战性的部分是要处理DynamoDB上同时发生的增量流负载。 DynamoDB中有300个表。
如何以最佳方式处理此问题？有人做过吗？
一种方法可以使用lambda捕获动态集更改，将更改发布到GCP pub / sub，然后让Dataflow流管道处理传入的pub / sub消息，根据表将其写入Spanner或BigTable。 >
基本DynamoDB-> Spanner解决方案在此处记录：https://cloud.google.com/solutions/migrating-dynamodb-to-cloud-spanner
这可能适用于处理不同表的不同目的地。