服务结构是否适合下载和压缩

问题描述 投票:0回答:2

我有一个我认为可能适合Service Fabric的场景。我在外地工作。

我从队列中读取消息。每条消息都包含需要下载的文件的详细信息。文件被下载并添加到zip存档中。

有40,000条消息,因此有40,000个下载和文件。我将这些添加到40个zip存档中,因此每个存档有1000个文件。

Service Fabric是否适合此工作负载?

我打算创建一个服务,将消息从队列中取出,下载文件并将其保存在某个地方。然后,我将该服务扩展为100个实例。

一旦下载了所有文件,我就会尝试将文件添加到zip存档中。如果您可以告诉我一种方法将文件添加到zip存档作为服务的一部分,那么可以获得奖励

azure azure-service-fabric
2个回答
1
投票

Service Fabric是否适合此工作负载?

如果用法仅用于下载和压缩文件,我认为设置集群并对其进行管理以维持非常简单的应用程序将是过度的。我认为您可以找到许多替代方案,您不必设置环境只是为了让您的应用程序继续运行并处理来自队列的消息。

然后,我将该服务扩展为100个实例。

实例数并不意味着下载速度会更快,您还必须考虑网络限制,否则您将最终得到具有空闲CPU和内存的服务器,其中网络可能是瓶颈。

我打算创建一个服务,将消息从队列中取出,下载文件并将其保存在某个地方。

如果你想坚持使用服务结构和队列方法,我会建议我之前给出的答案:Simulate 10,000 Azure IoT Hub Device connections from Azure Service Fabric cluster

这些信息并不完全符合您的计划,但可能会根据您拥有的规模以及如何处理来自队列的大量消息来指示(IoT Hub消息传递与服务总线非常相似)。

对于其他问题,我建议在另一个主题上创建它们。


0
投票

同意迭戈,使用服务结构这将是一个过度的,它不会是资源的最佳利用,而且这似乎更像是一个磁盘广泛的问题,你需要大量的存储来下载这些文件,而不是压缩它是拉链。一个想法可以是使用azure函数,因为在你的情况下,计算对我来说似乎很小。在azure文件共享中下载文件,然后上传到您想要的任何存储空间(例如BLOB)。这样您就不会使用大量资源,您可以根据需要扩展功能和azure文件共享。

© www.soinside.com 2019 - 2024. All rights reserved.