背景我们现在有一个在生产环境中运行的深度学习模型，该模型具有GPU和较高的CPU要求，不适用于特定类别。
因此，目前，我正在为特定类别开发新的ML模型。它实际上并不需要GPU，而且对于这种新型号，CPU较少也很有利。
当前基础结构
Kubernetes，Docker，微服务架构
问题
如果我有两个不同的微服务，则很难维护，因为每个模型都是基于类别的类型使用的。你们知道适合我目的的任何建筑吗？有没有安排这些的好方法？
听起来您正在做应做的事。由于这些型号的硬件要求截然不同，因此尝试通过相同的流程为其提供服务是没有意义的。您最好在这两种ML服务之前创建网关或路由服务，这两种服务负责根据输入选择要使用的模型。