可以使用Google App Engine运行网络搜寻器吗？
我有一个搜寻器流程，该流程以亚马逊网络商店产品的特定ID（或ASIN编号）开头。 然后，该过程将使用亚马逊产品广告API来获取类似产品。 提取相似产品后，将使用其ASIN号来调用其他相似产品的API。 假定此过程将获取大约25,000种产品的信息，大约需要3到6个小时。
现在，我的客户希望使用不同的初始ASIN号运行该过程的多个实例。 我给他一个关于如何使用Google计算引擎来制作整个系统的建议，但是他渴望使用Google App引擎。 他认为应用引擎会以某种方式自动创建搜寻器实例。
由于Google App Engine用于后端和API，我担心在App Engine上部署这样的搜寻器系统会有其局限性。
是。 您可以获取基本URL，抓取数据，获取相关产品的URL，然后启动任务taskqueues以获取每个后续URL。 冲洗并重复。