从批处理中调用REST API

问题描述 投票:0回答:1

我需要调用REST API来通过批处理作业获取一些记录信息。由于批处理作业包含数百万条记录,因此对该API的调用将太多,通过多线程批处理为每个记录调用REST API在我看来并不正确,因为它可能会使Web服务器超载(尽管存在多个实例)网络服务器)。这种用例是否有任何设计模式?我是否可以一次调用REST API,例如一次记录1K?谢谢

rest api microservices batch-processing
1个回答
0
投票

从您提供的信息中,我可以理解,基于批处理的rest api提供了大量信息(也许来自数据库),并且您有数百万个请求进入...。对于这种典型情况,您需要在此处实现一些流技术。意思是像Apache Kafka之类的东西(Hazelcast是经济高效的替代品)。仅通过执行棘手的工作和异步/线程实现来当前处理它的方式可能会帮助您,或者在本地计算机上看起来不错,或者只是测试场景/环境。如果您想要一个适当,稳定和健壮的体系结构,则必须实施一些流技术,这将帮助您正确地对大量数据进行请求和响应的通道化。否则,这将使生产混乱。应在处理批量数据的地方实现流传输。在这里,由于我不了解架构,我无法确切指出可以在哪里获得它。 如果您需要更多帮助,则可以发布更多详细信息,例如请求和响应中涉及哪些api,哪个api负责与用户和数据源进行通信等。

© www.soinside.com 2019 - 2024. All rights reserved.