所有人，
我们正在为大学项目。该项目应在云中运行并具有高度可扩展性。我们将所有功能外包给了Google Cloud Functions，效果很好。现在，我们正在寻找对我们的用例而言效果更好或可以更好地扩展的替代实现。
这就是为什么我们正在寻找一些不同的方法来解决此用例：这是一个Web抓取工具，来自不同用户的许多并行请求都发送到该系统。然后，系统从不同的网站上并行抓取数据并解析内容。随后，结果将重新组合并发送回用户。我在这里所说的“系统”是大量的云功能/微服务，它们正在发挥作用。
我没有使用Kafka的经验，但是我们已经考虑过使用流处理。还有其他我们应该考虑的框架吗？有什么建议吗？
提前感谢！
对于您所描述的内容，您应该检查：
对于您的用例，所有3种产品都应该可以，但是每种都有各自的优点/缺点。
一旦阅读了每个视频的描述和/或观看了介绍视频，您就可以确定哪个视频最适合您。