查找商务智能数据处理的最佳实践

问题描述 投票:0回答:1

我正在一个管理人力资源的系统中工作,它具有BI(商务智能)部分,用于从主系统收集和处理数据,然后将处理后的数据可视化为图表,表格等。

例如,我们希望查看[年龄在18-38之间的人]年龄(在轴1中)和他们的月薪(在轴2中)[在整个薪水范围中]之间的关系。聚合值正在亲自计数。还有一个名为“过滤器”的附加步骤,用于仅在组织A中过滤结果。

预期结果是这样的:

                 Age_18<28   Age_28<38 Age_38<48
Salary_<1000         12          25       45
Salary_1000<5000     12          10       2
Salary_>5000         1           1        2

当前处理步骤如下:

  1. 搜索轴1:搜索组织A中所有年龄段[18-38]的人
  2. 搜索axis2:搜索组织A中的所有人员
  3. 合并轴1和轴2的结果
  4. 按每种条件计算人数,例如,年龄为18岁<28岁且工资为<1000岁的人数为12,依此类推。
  5. 转换为json响应

由于要处理的案件很多,因此逻辑维护起来很复杂。所有步骤均如上所述手动处理。

所以,我只是想知道这是否是一个普遍的问题,并且应该以一种通用的方式来处理,例如设计模式,算法,库,Java或特定的概念来处理我以前从未知道过的事情。] >

目标:-使代码更简单,可读性和可维护性-易于扩展,即添加新案例

我要尝试的是:-应用责任链+策略模式-只是想知道Apache Kafka是否是正确的方法

注意:以上只是一个非常简单的情况,它可能在一个轴上包含多个项目,并带有一些附加条件

我正在一个管理人力资源的系统中工作,它具有BI(商务智能)部分,用于从主系统收集和处理数据,然后将处理后的数据可视化为图表,表格等。]]

java design-patterns business-intelligence data-processing
1个回答
0
投票

想到此的一种方法是,您正在3 x 3频率表中累积计数。

  1. 写一个简单的方法将薪水映射到索引,如下所示:

© www.soinside.com 2019 - 2024. All rights reserved.