子采样数据,以便从包含N个类的巨大数据集中选择至少K个类

问题描述 投票:0回答:1

我有一个数据集,其中包含分类为109个类别的130万条记录。显然存在等级失衡,数据中最高等级为18%,最低等级小于1%

现在,我的任务是设计一个通用的论坛/技术/代码,以便从这些记录中进行采样,使得:我们需要选择的最小记录数是多少,以使其包含K类的记录(其中K可以从1开始变化至109),并代表这些类别的原始数据。显然,这不是一个精确的解决方案,因此我们可以处理“高置信度”解决方案]

python scikit-learn data-science sampling
1个回答
0
投票

似乎您有一个简单的组合问题。假设您在一个盒子里有M个红色大理石弹和N个绿色大理石弹。您随机抽出K个弹珠。样品中红色与绿色的比例的期望值是多少?此外,方差是多少?让我们将“代表”定义为比率的95%置信区间中的极值(expected-2 * std,expected + 2 * std)相对于比率的预期值不超过10%宽。将其表示为K的函数非常简单(实际上,您可以用铅笔和纸做2类)。对于三个类别,您可以说两个类别之间比率的最大方差应不超过10%。

© www.soinside.com 2019 - 2024. All rights reserved.